监控 ClickPipes

使用 Prometheus 指标监控 ClickPipes。

除了 Console 中的监控外，ClickPipes 还会将指标暴露到 Prometheus 兼容端点 供抓取。这些指标会与其他 ClickHouse Cloud 服务指标一并发布，使你能够将 ClickPipes 监控集成到现有的可观测性技术栈中 (例如 Grafana 和 Datadog) 。

​

指标标记

ClickPipes 指标使用标准服务级标记 (clickhouse_org、clickhouse_service、clickhouse_service_name) ，以及以下 ClickPipes 专用标记：

标记	说明
clickpipe_id	ClickPipe 的唯一标识符
clickpipe_name	ClickPipe 的名称
clickpipe_source	源类型 (例如 kafka、postgres、s3)
clickpipe_state	ClickPipe 的状态 (例如 Stopped、Provisioning、Running)

​

示例响应

以下展示了 ClickPipes 指标在 Prometheus 抓取响应中的样子：

# HELP ClickPipes_Info 始终等于 1。标记 "clickpipe_state" 包含管道的当前状态：Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total 从数据源拉取的记录总数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total 发送到 ClickHouse 的记录总数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total 从数据源拉取的未压缩字节总数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total 发送到 ClickHouse 的未压缩字节总数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total 数据摄取过程中的错误总数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency 从记录生成到写入 ClickHouse 之间的时间（毫秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

​

可用指标

​

数据传输

指标	类型	描述
ClickPipes_FetchedBytes_Total	计数器	从源端拉取的未压缩字节总量。
ClickPipes_FetchedBytesCompressed_Total	计数器	从源端拉取的压缩字节总量。如果源数据未压缩，则与 ClickPipes_FetchedBytes_Total 等同。
ClickPipes_FetchedBytesInitialLoad_Total	计数器	CDC ClickPipes 在初始加载阶段拉取的未压缩字节总量。
ClickPipes_FetchedBytesResync_Total	计数器	CDC ClickPipes 在重新同步期间拉取的未压缩字节总量。
ClickPipes_SentBytes_Total	计数器	发送到 ClickHouse 的未压缩字节总量。
ClickPipes_SentBytesCompressed_Total	计数器	发送到 ClickHouse 的压缩字节总量。

​

事件和记录

指标	类型	说明
ClickPipes_FetchedEvents_Total	Counter	从源端拉取的记录总数。
ClickPipes_SentEvents_Total	Counter	发送到 ClickHouse 的记录总数。
ClickPipes_FetchedEvents_PerTable	Gauge	CDC ClickPipes 按目标端表和事件类型统计的已拉取记录数。使用额外的 destination_table 和 event_type 标记。

​

错误

指标	类型	描述
ClickPipes_Errors_Total	计数器	摄取过程中发生的错误总数。

​

延迟

指标	类型	描述
ClickPipes_Latency	Gauge (avg)	从记录在源端生成到写入 ClickHouse 之间的时间，单位为毫秒。
ClickPipes_SourceReplicationLatency_MiB	Gauge (avg)	CDC ClickPipes 在源端的复制滞后量，单位为 MiB。对于 Postgres ClickPipes，这反映的是 replication slot 的滞后量。

​

资源使用

指标	类型	描述
ClickPipes_Replica_CPUUsage	Gauge (avg)	用于摄取的副本的平均 CPU 使用量，单位为毫核。
ClickPipes_Replica_CPULimit	Gauge (last)	用于摄取的副本配置的 CPU 限制，单位为毫核。
ClickPipes_Replica_MemoryUsage	Gauge (avg)	用于摄取的副本的平均内存使用量，单位为字节。
ClickPipes_Replica_MemoryLimit	Gauge (last)	用于摄取的副本配置的内存限制，单位为字节。

​

状态和进度

指标	类型	描述
ClickPipes_Info	Gauge	始终等于 1。使用 clickpipe_state 标记根据管道状态进行过滤或触发告警。
ClickPipes_LastFetchedBatchId	Gauge	从源拉取的最后一个批次的 ID。
ClickPipes_LastSentBatchId	Gauge	发送到 ClickHouse 的最后一个批次的 ID。

​

相关页面

• Prometheus 端点 — 面向外部工具 (如 Grafana、Datadog) 的端点参考、身份验证和设置
• 错误报告 — 记录级错误和系统错误的存储位置