任务模板/算子总览索引

想知道平台内置了哪些 pipeline 算子/任务模板、各算子用途及对应详情文档时,先读这篇做导航。

05-任务模板 / 总览
任务模板算子operatorjob-templatepipeline流水线模板总览模板索引算子列表ML算子训练算子

任务模板 / 算子总览

CubeStudio 的「任务模板」(也叫算子)是 pipeline(流水线)中可被拖拽编排的最小执行单元。每个算子在仓库 job-template/job/<算子目录> 下,以一个独立镜像 + 入口脚本(多为 launcher.py / start.sh)实现;平台通过 myapp/init/init-job-template.json 把它们注册为「任务模板」,用户在流水线里选择模板、填参数即可运行。

  • 想了解如何开发/注册一个新模板 → 见 开发任务模板.md
  • 想了解在 pipeline 中如何使用这些算子(编排、参数填写、逐项预处理/特征处理用法)→ 见 模板使用/
  • 各算子的参数、设计、命令详情,见下表「详情文档」列链接的家族文档。

下表按家族分组,覆盖 job-template/job 下全部算子目录(已排除 __init__.py/pkgs/test/demo/window/aihub 等非算子项;model_offline_predict 目录为空已跳过)。具体参数与行为以源码为准,本页仅供导航。


数据导入导出

详情文档:01-数据导入导出.md

算子目录 平台任务模板名 一句话用途 详情
datax datax / datax-import 基于阿里 DataX 的异构数据源同步与导入(datax 原生手写 job.json;datax-import 表单化导出数据库表为 CSV)
dataset dataset 从当前平台 / Hugging Face / 魔塔(ModelScope) 下载数据集到目录
model_download model-download 从模型管理 / 推理服务 / Hugging Face / 魔塔下载模型到目录
label-studio-import label-studio-import 从 Label Studio 标注库导出标注数据(JSON/COCO/YOLO/YOLOv8-OBB)

数据处理

详情文档:02-数据处理.md

算子目录 平台任务模板名 一句话用途 详情
data-process data-process CSV 通用预处理(去重/填充/降维/异常检测/划分等 process_type)
hadoop hadoop 对接客户已有 Hadoop/YARN/Hive/Spark 集群的客户端镜像(平台不自带集群)
spark spark 通过 spark-operator 提交 SparkApplication 跑 Spark 作业
ray ray 在 K8s 上按需拉起 Ray 集群跑分布式 Python
volcano volcano 用 Volcano Job CRD 起多副本分布式计算任务
nlp-process nlp-clean-data / nlp-replace-private-data / nlp-filter-data / nlp-analyze-data / markdown-to-qa / expand-qa 文本清洗、脱敏、质量过滤、数据集分析、Markdown 转 QA、QA 数据扩展
feature-process feature-combine / hadamard-multiply / calculate-correlation / feature-importance / union-join-data / feature-process-all 特征组合、相关性、重要性、Hadamard 积、合并连接,及一体化特征工程

机器学习

详情文档:本段「机器学习」家族文档(文件名以本段实际为准,见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
sklearn sklearn 系列 sklearn 算法训练/评估/推理(adaboost、ar、arima、bayesian、decision-tree、gbdt、kmeans、knn、lightgbm、lr、random-forest、rf-regression、xgb 及通用模板)
ray-sklearn ray-sklearn 基于 Ray + Joblib 的分布式 sklearn

深度学习

详情文档:本段「深度学习」家族文档(见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
tf tfjob 基于 Kubeflow TFJob 的 TensorFlow 分布式训练
pytorch pytorchjob 基于 Kubeflow PyTorchJob 的 PyTorch 分布式训练
deep-learning-framework deep-learning-framework 多框架分布式训练(colossalai/deepspeed/horovod/megatron/mindformers/mindspore/mpi/mxnet/paddle)

大模型

详情文档:本段「大模型」家族文档(见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
llama-factory llama-factory 基于 LLaMA-Factory 的大模型训练 / SFT / PPO / reward / eval
llm-benchmark llm-benchmark 大模型推理性能压测
llm-distillation llm-distillation 大模型知识蒸馏
llm-prune llm-prune 基于 LLM-Pruner 的大模型剪枝
llm-quantization llm-quantization 大模型量化
llm-safety-eval llm-safety-eval 大模型安全性 / 越狱评估
opencompass opencompass 基于 OpenCompass 的大模型评测

模型服务化

详情文档:本段「模型服务化」家族文档(见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
model-convert model-convert PyTorch/YOLO 转 ONNX 及边缘多格式(OpenVINO/NCNN/MNN/TFLite/RKNN/TensorRT)
model_register model-register 把模型注册到平台「模型管理」
deploy-service deploy-service 在 pipeline 内一键创建/更新推理服务
model_evaluation model-evaluation 传统 ML 离线推理结果对比真值算指标
offline-predict offline-predict 基于 RabbitMQ 的分布式离线推理

多媒体 / CV / 语音

详情文档:本段「多媒体CV语音」家族文档(见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
video-audio video-audio(3 子模板) Ray 分布式媒体下载 / 视频抽帧 / 提取音频
vision-process vision-process 图像处理与图片质量评估
voice-process voice-process 音频清洗 / 增强 / 评估
yolo26 yolo26 YOLO26 目标检测训练 / 评估 / 服务
yolov8 yolov8 YOLOv8(仅 Dockerfile/脚本,无 README,疑似被 yolo26 取代)
paddleocr-vl paddleocr-vl PaddleOCR-VL 文档/图片转 Markdown

超参搜索

详情文档:本段「超参搜索」家族文档(见 05-任务模板/)。

算子目录 平台任务模板名 一句话用途
hyperparameter-search-nni hyperparameter-search-nni 基于 NNI 的超参搜索
hyperparameter-search-ray hyperparameter-search-ray 基于 Ray Tune 的超参搜索

说明:本页为导航总览,算子的镜像版本、参数默认值、命令行行为可能随版本变化,具体以 job-template/job/<算子目录> 下源码与各家族详情文档为准,仅供导航

最后更新 2026-07-04完整文档以官方仓库为准:GitHub Wiki