任务模板 / 算子总览
CubeStudio 的「任务模板」(也叫算子)是 pipeline(流水线)中可被拖拽编排的最小执行单元。每个算子在仓库 job-template/job/<算子目录> 下,以一个独立镜像 + 入口脚本(多为 launcher.py / start.sh)实现;平台通过 myapp/init/init-job-template.json 把它们注册为「任务模板」,用户在流水线里选择模板、填参数即可运行。
- 想了解如何开发/注册一个新模板 → 见 开发任务模板.md。
- 想了解在 pipeline 中如何使用这些算子(编排、参数填写、逐项预处理/特征处理用法)→ 见 模板使用/。
- 各算子的参数、设计、命令详情,见下表「详情文档」列链接的家族文档。
下表按家族分组,覆盖
job-template/job下全部算子目录(已排除__init__.py/pkgs/test/demo/window/aihub等非算子项;model_offline_predict目录为空已跳过)。具体参数与行为以源码为准,本页仅供导航。
数据导入导出
详情文档:01-数据导入导出.md
| 算子目录 | 平台任务模板名 | 一句话用途 | 详情 |
|---|---|---|---|
datax |
datax / datax-import | 基于阿里 DataX 的异构数据源同步与导入(datax 原生手写 job.json;datax-import 表单化导出数据库表为 CSV) | → |
dataset |
dataset | 从当前平台 / Hugging Face / 魔塔(ModelScope) 下载数据集到目录 | → |
model_download |
model-download | 从模型管理 / 推理服务 / Hugging Face / 魔塔下载模型到目录 | → |
label-studio-import |
label-studio-import | 从 Label Studio 标注库导出标注数据(JSON/COCO/YOLO/YOLOv8-OBB) | → |
数据处理
详情文档:02-数据处理.md
| 算子目录 | 平台任务模板名 | 一句话用途 | 详情 |
|---|---|---|---|
data-process |
data-process | CSV 通用预处理(去重/填充/降维/异常检测/划分等 process_type) | → |
hadoop |
hadoop | 对接客户已有 Hadoop/YARN/Hive/Spark 集群的客户端镜像(平台不自带集群) | → |
spark |
spark | 通过 spark-operator 提交 SparkApplication 跑 Spark 作业 | → |
ray |
ray | 在 K8s 上按需拉起 Ray 集群跑分布式 Python | → |
volcano |
volcano | 用 Volcano Job CRD 起多副本分布式计算任务 | → |
nlp-process |
nlp-clean-data / nlp-replace-private-data / nlp-filter-data / nlp-analyze-data / markdown-to-qa / expand-qa | 文本清洗、脱敏、质量过滤、数据集分析、Markdown 转 QA、QA 数据扩展 | → |
feature-process |
feature-combine / hadamard-multiply / calculate-correlation / feature-importance / union-join-data / feature-process-all | 特征组合、相关性、重要性、Hadamard 积、合并连接,及一体化特征工程 | → |
机器学习
详情文档:本段「机器学习」家族文档(文件名以本段实际为准,见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
sklearn |
sklearn 系列 | sklearn 算法训练/评估/推理(adaboost、ar、arima、bayesian、decision-tree、gbdt、kmeans、knn、lightgbm、lr、random-forest、rf-regression、xgb 及通用模板) |
ray-sklearn |
ray-sklearn | 基于 Ray + Joblib 的分布式 sklearn |
深度学习
详情文档:本段「深度学习」家族文档(见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
tf |
tfjob | 基于 Kubeflow TFJob 的 TensorFlow 分布式训练 |
pytorch |
pytorchjob | 基于 Kubeflow PyTorchJob 的 PyTorch 分布式训练 |
deep-learning-framework |
deep-learning-framework | 多框架分布式训练(colossalai/deepspeed/horovod/megatron/mindformers/mindspore/mpi/mxnet/paddle) |
大模型
详情文档:本段「大模型」家族文档(见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
llama-factory |
llama-factory | 基于 LLaMA-Factory 的大模型训练 / SFT / PPO / reward / eval |
llm-benchmark |
llm-benchmark | 大模型推理性能压测 |
llm-distillation |
llm-distillation | 大模型知识蒸馏 |
llm-prune |
llm-prune | 基于 LLM-Pruner 的大模型剪枝 |
llm-quantization |
llm-quantization | 大模型量化 |
llm-safety-eval |
llm-safety-eval | 大模型安全性 / 越狱评估 |
opencompass |
opencompass | 基于 OpenCompass 的大模型评测 |
模型服务化
详情文档:本段「模型服务化」家族文档(见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
model-convert |
model-convert | PyTorch/YOLO 转 ONNX 及边缘多格式(OpenVINO/NCNN/MNN/TFLite/RKNN/TensorRT) |
model_register |
model-register | 把模型注册到平台「模型管理」 |
deploy-service |
deploy-service | 在 pipeline 内一键创建/更新推理服务 |
model_evaluation |
model-evaluation | 传统 ML 离线推理结果对比真值算指标 |
offline-predict |
offline-predict | 基于 RabbitMQ 的分布式离线推理 |
多媒体 / CV / 语音
详情文档:本段「多媒体CV语音」家族文档(见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
video-audio |
video-audio(3 子模板) | Ray 分布式媒体下载 / 视频抽帧 / 提取音频 |
vision-process |
vision-process | 图像处理与图片质量评估 |
voice-process |
voice-process | 音频清洗 / 增强 / 评估 |
yolo26 |
yolo26 | YOLO26 目标检测训练 / 评估 / 服务 |
yolov8 |
yolov8 | YOLOv8(仅 Dockerfile/脚本,无 README,疑似被 yolo26 取代) |
paddleocr-vl |
paddleocr-vl | PaddleOCR-VL 文档/图片转 Markdown |
超参搜索
详情文档:本段「超参搜索」家族文档(见 05-任务模板/)。
| 算子目录 | 平台任务模板名 | 一句话用途 |
|---|---|---|
hyperparameter-search-nni |
hyperparameter-search-nni | 基于 NNI 的超参搜索 |
hyperparameter-search-ray |
hyperparameter-search-ray | 基于 Ray Tune 的超参搜索 |
说明:本页为导航总览,算子的镜像版本、参数默认值、命令行行为可能随版本变化,具体以
job-template/job/<算子目录>下源码与各家族详情文档为准,仅供导航。