数据导入导出

datax

在 notebook 中编写 datax 需要的 json 文件（即定义数据从哪里导入到哪里），编写格式参数见 DataX github。

然后在任务参数 -f 中配置该 json 文件的地址即可。

dataset

下载数据集到分布式存储，目前仅支持 CubeStudio 平台本身的数据集和 Hugging Face 数据集。

label-studio

从标注平台导入数据集。其中：

• --project_id：标注任务的项目组 id，可以进入某个标注任务后，在浏览器的 url 中获取
• --filter：过滤条件，支持 created_at、updated_at 的大于小于
• --save_path：保存地址

说明：--filter 在代码中被拼接为标注库 task 表的 where 条件片段，支持用 ,/&/; 分隔多个条件。见 job-template/job/label-studio-import/launcher.py:30-62（_normalize_filter 拆分条件后拼到 select * from task ...）。

model-download

下载模型文件到分布式存储，目前支持从 模型管理列表 和 推理服务列表 下载模型，以及从 Hugging Face 下载模型。

注意：

1. 如果在模型管理中注册的 模型地址 填写的为 json 格式，那么表示该模型是由多个子模型构成。每个 key 都表示一个子模型，这种情况下，模型拉取时可以直接拉取子模型。

2. 往往在生产中，我们需要拉取当前在线的推理服务的模型，作为下一次增量训练的模型，所以我们需要从在线的推理服务中拉取模型，这种情况下要求推理服务的模型地址是填写上的。