监控体系总览（Prometheus + Grafana）
CubeStudio 的监控体系基于 Prometheus + Grafana + Prometheus Operator 构建，部署在 K8s 的 monitoring 命名空间中。本目录按主题拆分为多篇，覆盖从架构原理、各类监控目标接入、自定义指标、ServiceMonitor 配置调试到告警与可视化的全链路。
部署清单与
kubectl apply顺序见install/kubernetes/prometheus/（operator → alertmanager → node-exporter → kube-state-metrics → grafana → prometheus → servicemonitor）。具体部署步骤请参考 02-部署安装 段。
整体数据流
- 采集：各类
exporter（node-exporter、kube-state-metrics、kubelet、ingress-nginx、三方中间件 exporter）和业务pushgateway/ 自定义/metrics接口暴露指标。 - 抓取：
Prometheus Server按ServiceMonitor/prometheus.yml配置定时拉取（scrape）各 Target 的 metrics。 - 存储与查询：Prometheus 作为时序数据库存储数据，提供 PromQL 查询。
- 管理：
Prometheus Operator根据 ServiceMonitor 等 CRD 动态生成 Prometheus 配置、维护 Target 列表。 - 告警：
Alertmanager按 route/receiver 规则发送告警；本平台告警与 Grafana 报警统一接入自研pushgateway的 webhook 代理转发到微信 / 企业微信群。 - 可视化：
Grafana以 chart 组成 dashboard，绑定 Prometheus（及其他）数据源展示。
子文档目录（TOC）
| 序号 | 文档 | 内容 |
|---|---|---|
| 01 | Prometheus 与 Operator 架构 | Prometheus 基础架构（pushgateway/exporter/server/alertmanager/grafana）、Prometheus Operator 架构（Operator / Prometheus / Service / ServiceMonitor / Alertmanager） |
| 02 | 机器与容器监控 | node-exporter 机器监控、kubelet 容器监控、grafana-dashboard 导入 |
| 03 | 入口流量与中间件监控 | Gateway / ingress-nginx、Service Mesh / linkerd、三方中间件 exporter |
| 04 | 自定义指标与 pushgateway | 官方 pushgateway 弊端、自研 pushgateway 报警代理、Python 自定义 metrics（flask / aiohttp） |
| 05 | ServiceMonitor 配置与调试 | ServiceMonitor 写法、监控非 K8s 应用的 configmap、配置后调试（Targets / Service Discovery / Graph） |
| 06 | 告警与 Grafana | Alertmanager secret / route / receiver、Grafana 插件 / dashboard / Alert / 多数据源 |
相关阅读
- 自研 pushgateway 的报警推送接口同时服务于平台告警推送，与 04-运维管理段的监控 / 消息推送相关。
- Prometheus 服务发现、prometheus-adapter（自定义指标 HPA）与推理服务的弹性伸缩相关，见 01-架构原理段平台架构-推理服务相关文档。