任务模板注册速查
平台内置 102 个任务模板(算子),注册源为 myapp/init/init-job-template.json(英文版 myapp/init-en/init-job-template.json)。下表为各模板的镜像、说明与参数速查;按家族分组的使用说明见 05-任务模板/。参数默认值/choice 等细节以注册 JSON 与各模板 start.py 为准。
| 模板(job_template_name) | 镜像 | 说明 | 主要参数 |
|---|---|---|---|
自定义镜像 |
ubuntu:20.04 | 使用用户自定义镜像作为运行镜像 | |
logical |
ccr.ccs.tencentyun.com/cube-studio/python:3.9 | 任务流量的逻辑节点 | |
python |
python:3.9 | python代码执行 | |
datax |
ccr.ccs.tencentyun.com/cube-studio/datax:20240501 | datax异构数据源同步 | -f |
datax-import |
ccr.ccs.tencentyun.com/cube-studio/datax:20240501 | datax mysql postgresql 数据导入 | --db_type --host --username --password --database --table --columns --… |
dataset |
ccr.ccs.tencentyun.com/cube-studio/dataset:20250301 | 数据集导入 | --src_type --name --version --partition --save_dir |
label-studio |
ccr.ccs.tencentyun.com/cube-studio/label-studio-impo… | 标注数据导入 | --project_id --filter --output_format --save_path |
model-download |
ccr.ccs.tencentyun.com/cube-studio/model_download:20… | 模型导入 | --from --model_name --sub_model_name --model_version --model_status --… |
hadoop |
ccr.ccs.tencentyun.com/cube-studio/hadoop:20240501 | hadoop大数据组件,hdfs,hbase,sqoop,spark | --command |
volcanojob |
ccr.ccs.tencentyun.com/cube-studio/volcano:20250801 | 有序分布式任务 | --image --working_dir --command --num_worker |
ray |
ccr.ccs.tencentyun.com/cube-studio/ray:gpu-20250301 | python多机分布式任务 | --workdir --init --command --num_worker |
sparkjob |
ccr.ccs.tencentyun.com/cube-studio/spark:20260601 | spark serverless分布式任务 | --image --num_worker --code_type --code_class --code_file --code_argum… |
drop-duplicates |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 去除重复样本 | --input_dataset_path --save_dataset_path |
drop-missing |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 删除缺失率过高的值 | --input_dataset_path --save_dataset_path --missing_ratio |
drop-stablize |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 去除值过于单一的变量 | --input_dataset_path --save_dataset_path --stable_threshold |
fill-missing |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 填充缺失值 | --input_dataset_path --save_dataset_path --fill_type |
one-hot |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 枚举类one hot展开 | --input_dataset_path --save_dataset_path --categorical_cols |
calculate-metric |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 获取变量的统计量 | --input_dataset_path --metric_path |
outlier-detection |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | 异常值检测 | --input_dataset_path --save_dataset_path --detection_type --delete_or_… |
pca |
ccr.ccs.tencentyun.com/cube-studio/data-process:2023… | pca降维 | --input_dataset_path --save_dataset_path --label_columns --feature_col… |
calculate-correlation |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 特征向量间的相关性计算 | --input_dataset_path --result_path --corr_type --feature_columns |
feature-combine |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 特征组合,用于衍生特征 | --input_dataset_path --save_dataset_path --params |
feature-importance |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 特征重要性,通过随机森林、逻辑回归、xgboost等模型计算特征重要性,可计算特… | --model_path --method --input_dataset_path --col_name --target --save_… |
hadamard-multiply |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | hadamard乘积 | --data1 --data2 --save_dataset_path |
union-join-data |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 数据合并,包含union、join操作 | --data --merge_type --ignore_index --join_columns --save_dataset_path |
run-sql |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 执行sql | --input_dataset_path --save_dataset_path --params |
sort |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 排序 | --input_dataset_path --save_dataset_path --params |
index-process |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 索引处理,包含增加索引、索引转列、列索引重命名 | --input_dataset_path --save_dataset_path --params |
objective-process |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 非数值型变量处理,包括hash、根据统计量转换、one-hot | --input_dataset_path --save_dataset_path --params |
data-tranform |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 数据变换,包括boxcox转换/二值化/数据类型转换/dct变换/根据函数转换/… | --input_dataset_path --save_dataset_path --params |
data-split |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 数据拆分,包括列内拆分、列间拆分、行间拆分、svd奇异值分解 | --input_dataset_path --save_dataset_path --params |
dimension-reduction |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 降维,包括pca降维和卡方降维 | --input_dataset_path --save_dataset_path --params |
sample |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 采样,包括随机采样、分层采样、过采样、欠采样 | --input_dataset_path --save_dataset_path --params |
standardize-normalize |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 标准化、正则化、归一化,有最大绝对值归一化、最大最小归一化、z_score标准化 | --input_dataset_path --save_dataset_path --params |
discretization |
ccr.ccs.tencentyun.com/cube-studio/feature-process:2… | 数据离散化,等宽、等频、聚类离散化 | --input_dataset_path --save_dataset_path --params |
vision-quality-assessment |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片质量评估 | --images --reference --hash-dup --plots --output |
vision-image-blur |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片去噪声 | --input_dir --save_dir --deal_arg |
vision-image-resize |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片缩放 | --input_dir --save_dir --deal_arg |
vision-image-normalize |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片标准化 | --input_dir --save_dir --deal_arg |
vision-image-cropping |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片裁剪 | --input_dir --save_dir --deal_arg --deal_kwarg |
vision-image-equalize |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片均衡化,增强对比度 | --input_dir --save_dir --deal_arg |
vision-image-cvtcolor |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片的空间转换 | --input_dir --save_dir --deal_arg |
vision-image-augmentation |
ccr.ccs.tencentyun.com/cube-studio/vision-process:20… | 图片变换,图像增强 | --input_dir --save_dir --deal_arg --deal_kwarg |
media-download |
ccr.ccs.tencentyun.com/cube-studio/video-audio:20260… | 分布式下载媒体文件 | --num_worker --download_type --input_file |
video-img |
ccr.ccs.tencentyun.com/cube-studio/video-audio:20260… | 视频提取图片(分布式版) | --num_worker --input_file |
video-audio |
ccr.ccs.tencentyun.com/cube-studio/video-audio:20260… | 视频提取音频(分布式版) | --num_worker --input_file |
audio-augment |
ccr.ccs.tencentyun.com/cube-studio/voice-process:202… | 音频数据增强 | --input_dir --output_dir --num_aug --seed |
audio-clean |
ccr.ccs.tencentyun.com/cube-studio/voice-process:202… | 音频数据清洗 | --input_dir --output_dir --sr --trim_top_db --target_dbfs --bp_low_hz … |
audio-quality-assessment |
ccr.ccs.tencentyun.com/cube-studio/voice-process:202… | 音频质量评估 | --scan-dir --sr --output-dir --audio-ext --clip-threshold |
paddleocr-vl |
ccr.ccs.tencentyun.com/cube-studio/paddleocr-vl:2025… | 文件图片内容提取 | --input_file_or_path --output_path --max_image_height --max_image_widt… |
markdown-to-qa |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | markdown转问答对 | --input --output --format --expand_qa --expand_num --system --llm-para… |
expand-qa |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | 扩展问答对数据集 | --input --output --format --expand_num --keep_original --augment_mode … |
nlp-clean-data |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | 异常数据清洗 | --input_file_path --save_file_path --remove_invisible_char --standard_… |
nlp-filter-data |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | 过滤异常文档 | --input_file_path --save_file_path --char_num --word_num --char_repeti… |
nlp-replace-private-data |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | 去除隐私信息 | --input_file_path --save_file_path --replace_email --replace_ip --repl… |
nlp-analyze-data |
ccr.ccs.tencentyun.com/cube-studio/nlp-process:20260… | 文本数据统计,质量评估 | --input --output --plots --batch-size --domains --tasks --languages --… |
sklearn |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | sklearn框架模型训练 | --train_dataset --train_test_split_ratio --label_columns --feature_col… |
ray-sklearn |
ccr.ccs.tencentyun.com/cube-studio/ray-sklearn:20250… | sklearn基于ray的分布式 | --train_csv_file_path --feature_columns --label_columns --model_name -… |
adaboost |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | adaboost算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
xgb |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | xgb算法单机 | --train_dataset --val_dataset --feature_columns --label_columns --mode… |
bayesian |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | bayesian算法 | --train_dataset --feature_columns --label_columns --save_model_dir --m… |
decision-tree |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | decision-tree算法 | --train_dataset --feature_columns --label_columns --model_params --sav… |
gbdt |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | gbdt算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
hyperparameter-search-ray |
ccr.ccs.tencentyun.com/cube-studio/hyperparameter-se… | 超参搜索算法 | --workdir --command --params --outfile --metric --mode --num_samples -… |
hyperparameter-search-nni |
ccr.ccs.tencentyun.com/cube-studio/hyperparameter-se… | 超参搜索算法 | --workdir --command --parallel_trial_count --max_trial_count --max_exe… |
kmeans |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | kmeans算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
knn |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | knn算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
lightgbm |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | lightgbm算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
lr |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | lr算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
random-forest |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | random-forest算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
random-forest-regression |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | random-forest-regression算法 | --train_dataset --label_columns --feature_columns --model_params --sav… |
arima |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | arima时间序列算法 | --train_dataset --feature_col --save_model_dir --time_col --start --en… |
ar |
ccr.ccs.tencentyun.com/cube-studio/sklearn:20250801 | ar 时间序列算法 | --train_dataset --feature_col --save_model_dir --time_col --start --en… |
tfjob |
ccr.ccs.tencentyun.com/cube-studio/tf:20230801 | tf 分布式训练 | --image --working_dir --command --num_worker |
pytorchjob |
ccr.ccs.tencentyun.com/cube-studio/pytorch:20250801 | pytorch 分布式训练 | --image --working_dir --command --num_worker |
paddlejob |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | paddle 分布式训练 | --image --working_dir --command --num_worker --num_ps |
mindspore |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | mindspore 分布式训练 | --image --working_dir --command --num_worker |
mindformers |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | mindformers 分布式训练 | --image --working_dir --command --num_worker |
mxnet |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | mxnet 分布式训练 | --image --working_dir --command --num_worker --num_ps |
horovod |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | horovod 分布式训练 | --work_images --working_dir --command --num_worker |
megatron |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | megatron 分布式训练 | --image --working_dir --command --cluster |
deepspeed |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | deepspeed 分布式训练 | --image --working_dir --command --num_worker |
colossalai |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | colossalai 分布式训练 | --work_images --working_dir --command --num_worker |
mpi |
ccr.ccs.tencentyun.com/cube-studio/deep-learning-fra… | mpi 分布式训练 | --work_images --working_dir --command --num_worker |
model-evaluation |
ccr.ccs.tencentyun.com/cube-studio/model_evaluation:… | 模型评估 | --true_dataset_path --true_label_column --pred_dataset_path --pred_lab… |
model-convert |
ccr.ccs.tencentyun.com/cube-studio/model-convert:202… | 模型转换 | --model_type --model_path --arch --input_name --output_name --export_m… |
model-register |
ccr.ccs.tencentyun.com/cube-studio/model_register:20… | 注册模型 | --project_name --model_name --model_version --model_path --model_metri… |
model-offline-predict |
ccr.ccs.tencentyun.com/cube-studio/offline-predict:2… | 分布式离线推理 | --image --working_dir --command --num_worker |
deploy-service |
ccr.ccs.tencentyun.com/cube-studio/deploy-service:20… | 模型部署推理服务 | --project_name --label --model_name --model_version --model_path --ser… |
aihub-register |
ccr.ccs.tencentyun.com/cube-studio/aihub:20251001 | 注册到aihub应用市场 | --name --version --label --describe --code_dir --field --scenes --pic … |
aihub-inference |
ccr.ccs.tencentyun.com/cube-studio/aihub:20251001 | aihub模型调用数据处理 | --input_file --save_file --aihub_name |
yolo26 |
ccr.ccs.tencentyun.com/cube-studio/yolo26:20260331 | yolo目标识别 | --train --val --classes --batch_size --epoch --weights --save_model_pa… |
deepseek |
ccr.ccs.tencentyun.com/cube-studio/llama-factory:202… | deepseek大模型微调 | --model_name --model_path --dataset --template --finetuning_type --lor… |
llama-factory-sft |
ccr.ccs.tencentyun.com/cube-studio/llama-factory:202… | llama-factory大模型sft微调 | --model_name --model_path --dataset --template --finetuning_type --lor… |
llama-factory-reward |
ccr.ccs.tencentyun.com/cube-studio/llama-factory:202… | llama-factory大模型奖励模型训练 | --model_path --dataset --template --finetuning_type --lora_target --pe… |
llama-factory-ppo |
ccr.ccs.tencentyun.com/cube-studio/llama-factory:202… | llama-factory大模型强化学习 | --model_path --model_rm_lora_path --dataset --template --finetuning_ty… |
llama-factory-eval |
ccr.ccs.tencentyun.com/cube-studio/llama-factory:202… | llama-factory大模型评估 | --model_path --adapter_model_path --task --finetuning_type --lang --ba… |
opencompass |
ccr.ccs.tencentyun.com/cube-studio/opencompass:20260… | opencompass大模型评估 | --model_path --datasets --hf_type --output_path |
llm-safety-eval |
ccr.ccs.tencentyun.com/cube-studio/llm-safety-eval:2… | 大模型安全评估 | --model_path --dataset --output --languages |
llm-benchmark |
ccr.ccs.tencentyun.com/cube-studio/llm-benchmark:202… | 大模型性能评估 | --model_path --output_dir --prompts_path --quantization --batch_size -… |
llm-quantization |
ccr.ccs.tencentyun.com/cube-studio/llm-quantization:… | 大模型量化 | --job --model_path --quantization --output_dir |
llm-prune |
ccr.ccs.tencentyun.com/cube-studio/llm-prune:2026012… | 大模型剪枝 | --base_model --output_path --pruning_ratio --pruner_type --prune_mode … |
说明:命令列未单列——多数模板启动命令为
python start.py,具体见对应job-template/job/<模板>/README.md与start.py。 模板分组(数据/机器学习/深度学习/大模型/模型服务化/多媒体等)见 05-任务模板/00-模板总览.md。