分布式存储目录结构(/data/k8s)
平台所有需要持久化的数据都落在主机(或共享/分布式存储挂载点)的 /data/k8s 目录下,按命名空间组织。共享存储的准备方式(NFS / hostPath / 其他分布式存储)见「02-部署安装」段的存储准备文档。
目录层级
主机 /data/k8s 目录下使用层级
├── infra # infra 命名空间下面
│ └── mysql # mysql 数据库的存储
├── kubeflow
│ ├── dataset # 用户通过 sdk 上传的数据集的数据存储
│ ├── global
│ │ ├── cube-studio # CubeStudio 源码的存储
│ │ ├── sqllab # sqllab 查询结果下载地址
│ │ └── datatse # 数据集的备份地址
│ ├── labelstudio # 标注平台的数据存储
│ ├── minio # pipeline 中任务日志和输出指标的存储
│ ├── pipeline # 用户空间存储
│ │ ├── archives # 每个人的归档目录
│ │ │ └── admin
│ │ └── workspace # 每个人的工作目录
│ │ └── admin
│ └── postgresql # 标注平台的 postgresql 数据库存储
└── monitoring
├── grafana # grafana 看板数据存储
└── prometheus # prometheus 监控数据存储,每个 k8s 集群要是不一样的目录
说明:
kubeflow/global/datatse按原文保留(注释为「数据集的备份地址」,目录名疑似dataset的笔误,以实际部署创建的目录为准)。
各目录用途速查
| 路径 | 命名空间 | 用途 |
|---|---|---|
/data/k8s/infra/mysql |
infra | MySQL 元数据库数据 |
/data/k8s/kubeflow/dataset |
kubeflow | 用户通过 SDK 上传的数据集数据 |
/data/k8s/kubeflow/global/cube-studio |
kubeflow | CubeStudio 源码 |
/data/k8s/kubeflow/global/sqllab |
kubeflow | SQLLab 查询结果下载目录 |
/data/k8s/kubeflow/global/datatse |
kubeflow | 数据集备份目录 |
/data/k8s/kubeflow/labelstudio |
kubeflow | 标注平台数据 |
/data/k8s/kubeflow/minio |
kubeflow | pipeline 任务日志与输出指标 |
/data/k8s/kubeflow/pipeline/archives/<user> |
kubeflow | 每个用户的归档目录 |
/data/k8s/kubeflow/pipeline/workspace/<user> |
kubeflow | 每个用户的工作目录 |
/data/k8s/kubeflow/postgresql |
kubeflow | 标注平台 PostgreSQL 数据 |
/data/k8s/monitoring/grafana |
monitoring | Grafana 看板数据 |
/data/k8s/monitoring/prometheus |
monitoring | Prometheus 监控数据(多集群需分目录) |
相关运维提示
- 多集群的 Prometheus 目录必须分开:每个 K8s 集群的监控数据要落在不同目录,避免互相覆盖。
- Prometheus 历史数据清理:监控数据会持续增长,定期清理见本段「运维注意事项.md」。
- 存储准备前置:
/data/k8s的共享存储如何挂载、用什么后端(NFS / hostPath / 分布式存储),见「02-部署安装」段的存储准备说明。 - 其它中间件也复用
/data/k8s约定,例如 Redis 哨兵的 PV 落在/data/k8s/infra/redis/pv-*(见「Redis哨兵部署.md」)。