分布式存储目录结构

想知道平台在主机/共享存储 /data/k8s 下各子目录分别存什么、排查空间占用或迁移数据时

04-运维管理 / 存储
分布式存储存储目录/data/k8shostPathNFS共享存储pipelineworkspacearchivesminiodatasetlabelstudiopostgresqlgrafanaprometheus目录层级

分布式存储目录结构(/data/k8s)

平台所有需要持久化的数据都落在主机(或共享/分布式存储挂载点)的 /data/k8s 目录下,按命名空间组织。共享存储的准备方式(NFS / hostPath / 其他分布式存储)见「02-部署安装」段的存储准备文档。

目录层级

主机 /data/k8s 目录下使用层级

├── infra                                    # infra 命名空间下面
│   └── mysql                                # mysql 数据库的存储
├── kubeflow
│   ├── dataset                              # 用户通过 sdk 上传的数据集的数据存储
│   ├── global
│   │   ├── cube-studio                      # CubeStudio 源码的存储
│   │   ├── sqllab                           # sqllab 查询结果下载地址
│   │   └── datatse                          # 数据集的备份地址
│   ├── labelstudio                          # 标注平台的数据存储
│   ├── minio                                # pipeline 中任务日志和输出指标的存储
│   ├── pipeline                             # 用户空间存储
│   │   ├── archives                         # 每个人的归档目录
│   │   │   └── admin
│   │   └── workspace                        # 每个人的工作目录
│   │       └── admin
│   └── postgresql                           # 标注平台的 postgresql 数据库存储
└── monitoring
    ├── grafana                              # grafana 看板数据存储
    └── prometheus                           # prometheus 监控数据存储,每个 k8s 集群要是不一样的目录

说明:kubeflow/global/datatse 按原文保留(注释为「数据集的备份地址」,目录名疑似 dataset 的笔误,以实际部署创建的目录为准)。

各目录用途速查

路径 命名空间 用途
/data/k8s/infra/mysql infra MySQL 元数据库数据
/data/k8s/kubeflow/dataset kubeflow 用户通过 SDK 上传的数据集数据
/data/k8s/kubeflow/global/cube-studio kubeflow CubeStudio 源码
/data/k8s/kubeflow/global/sqllab kubeflow SQLLab 查询结果下载目录
/data/k8s/kubeflow/global/datatse kubeflow 数据集备份目录
/data/k8s/kubeflow/labelstudio kubeflow 标注平台数据
/data/k8s/kubeflow/minio kubeflow pipeline 任务日志与输出指标
/data/k8s/kubeflow/pipeline/archives/<user> kubeflow 每个用户的归档目录
/data/k8s/kubeflow/pipeline/workspace/<user> kubeflow 每个用户的工作目录
/data/k8s/kubeflow/postgresql kubeflow 标注平台 PostgreSQL 数据
/data/k8s/monitoring/grafana monitoring Grafana 看板数据
/data/k8s/monitoring/prometheus monitoring Prometheus 监控数据(多集群需分目录)

相关运维提示

  • 多集群的 Prometheus 目录必须分开:每个 K8s 集群的监控数据要落在不同目录,避免互相覆盖。
  • Prometheus 历史数据清理:监控数据会持续增长,定期清理见本段「运维注意事项.md」。
  • 存储准备前置/data/k8s 的共享存储如何挂载、用什么后端(NFS / hostPath / 分布式存储),见「02-部署安装」段的存储准备说明。
  • 其它中间件也复用 /data/k8s 约定,例如 Redis 哨兵的 PV 落在 /data/k8s/infra/redis/pv-*(见「Redis哨兵部署.md」)。
最后更新 2026-07-04完整文档以官方仓库为准:GitHub Wiki