任务模板使用手册(总览)
本手册面向使用者,讲在 pipeline 编排界面里拖拽使用各内置任务模板时,每个模板做什么、入参怎么填。这是「使用视角」,与本段(05-任务模板)各家族模板文档(设计/参数视角)互补,建议结合阅读。
使用方法也可参考代码仓库
job-template/job/下对应模板中的README.md。
想自己开发并注册新模板,见 开发任务模板。
子文件目录(TOC)
| 文件 | 涵盖模板 |
|---|---|
| 00-基础命令 | 自定义镜像、逻辑节点、python 节点 |
| 01-数据导入导出 | datax、dataset、label-studio、model-download |
| 02-数据处理 | hadoop、volcanojob、ray、sparkjob |
| 03-数据预处理 | drop-duplicate、drop-missing、drop-stablize、fill-missing、calculate_metric、outlier-detection |
| 04-特征处理 | discretization、standardize-normalize、sample、dimension-reduction、data-split、data-transform、objective-process、index-process、sort、run-sql、union-join-data、hadamard-multiply、feature-importance、feature-combine、calculate-correlation |
| 05-机器学习算法 | random-forest、lr、lightgbm、knn、kmean、gbdt、decision-tree、bayesian、xgb、adaboost、hyperparameter-search-ray、ar、arima、rf-regression |
| 06-深度学习 | tfjob、pytorchjob、mxnet、paddlejob、mindspore |
| 07-模型处理 | model-evaluation、模型转换 |
| 08-模型服务化 | model-offline-predict、deploy-service、model-register |
| 09-多媒体类模板 | media-download、video-image、video-audio |
| 10-分布式加速 | horovod |
通用约定
- 模板入参传入容器时统一为字符串;若入参语义是 json,代码内部会自行反序列化。
- 需要持久化的输入/输出路径,应放在容器的
/mnt/{{creator}}/目录下(个人工作目录)。 - 路径示例里的
admin、{{creator}}等为占位,实际为当前用户名。