数据集
简介
数据集一般用于管理图、文、音的数据集。
入口:「数据资产」-「数据集」。后端模型
Dataset(表名dataset),视图dataset_modelview,列表以卡片形式展示(myapp/views/view_dataset.py:1343-1347)。同名数据集可有多个版本(version字段),列表按主版本聚合展示历史版本。

数据集的建立
数据集有三种方式导入到平台。
SDK 导入数据集
数据集可以通过 SDK 上传,具体使用方法见 SDK 使用。
在线数据导入
在线数据集可以直接配置下载地址(download_url 字段),点击下载地址会直接下载到本地。

想要将在线数据集下载到平台、方便进入模型使用,需要使用 pipeline 的 dataset 模板(任务模板 job-template/job/dataset)。dataset 模板会把在线数据集下载到平台,保存在分布式存储中,供后续建模、推理等使用。

本地数据导入
本地数据集上传到平台,需要先用 notebook 把数据上传到分布式存储(参见 在线开发 / 在线 IDE),再在数据集中增加元数据信息,也就是手动添加分布式存储的路径(path 字段)。
数据集的增删改查与备份
数据集可以进行增删改查与备份。删改和详情查看在数据集卡片的「更多」按钮处。
备份对应「备份」动作(save_store,myapp/views/view_dataset.py:353),通过异步任务 update_dataset 把数据复制到当前集群的全局目录:
/data/k8s/kubeflow/global/dataset/<数据集名>/<版本>/
(路径见 myapp/tasks/async_task.py:389-394;删除数据集时该备份目录会被一并清理,见 myapp/views/view_dataset.py:1330-1334。版本为空时按 latest 处理。)
注:源文档写作
/data/k8s/Kubeflow/global/dataset,代码中目录全为小写kubeflow,已据代码更正。
