数据集导入与管理

需要把图文音数据集导入平台、用 dataset 算子下载在线数据、上传本地数据到分布式存储,或对数据集做增删改查与备份时阅读

平台使用 / 数据资产与处理
数据集dataset数据导入sdk导入在线数据本地数据dataset模板pipeline分布式存储数据备份backup增删改查

数据集

简介

数据集一般用于管理图、文、音的数据集。

入口:「数据资产」-「数据集」。后端模型 Dataset(表名 dataset),视图 dataset_modelview,列表以卡片形式展示(myapp/views/view_dataset.py:1343-1347)。同名数据集可有多个版本(version 字段),列表按主版本聚合展示历史版本。

输入图片说明

数据集的建立

数据集有三种方式导入到平台。

SDK 导入数据集

数据集可以通过 SDK 上传,具体使用方法见 SDK 使用

在线数据导入

在线数据集可以直接配置下载地址(download_url 字段),点击下载地址会直接下载到本地。

输入图片说明

想要将在线数据集下载到平台、方便进入模型使用,需要使用 pipeline 的 dataset 模板(任务模板 job-template/job/dataset)。dataset 模板会把在线数据集下载到平台,保存在分布式存储中,供后续建模、推理等使用。

输入图片说明

dataset 模板属于任务模板,编排在任务流中执行。详见 任务模板总览任务流编排

本地数据导入

本地数据集上传到平台,需要先用 notebook 把数据上传到分布式存储(参见 在线开发 / 在线 IDE),再在数据集中增加元数据信息,也就是手动添加分布式存储的路径(path 字段)。

数据集的增删改查与备份

数据集可以进行增删改查与备份。删改和详情查看在数据集卡片的「更多」按钮处。

备份对应「备份」动作(save_storemyapp/views/view_dataset.py:353),通过异步任务 update_dataset 把数据复制到当前集群的全局目录:

/data/k8s/kubeflow/global/dataset/<数据集名>/<版本>/

(路径见 myapp/tasks/async_task.py:389-394;删除数据集时该备份目录会被一并清理,见 myapp/views/view_dataset.py:1330-1334。版本为空时按 latest 处理。)

注:源文档写作 /data/k8s/Kubeflow/global/dataset,代码中目录全为小写 kubeflow,已据代码更正。

输入图片说明

最后更新 2026-06-30完整文档以官方仓库为准:GitHub Wiki