深度学习分布式训练模板

在 pipeline 里跑 TF/PyTorch/MXNet/Paddle/MindSpore 分布式训练,查 worker 镜像/启动目录/命令/副本数怎么填

05-任务模板 / 模板使用
深度学习分布式训练tfjobtensorflowpytorchjobpytorchmxnetpaddlejobpaddlemindsporenum_workernum_psimageworking_dircommand

深度学习

这几类分布式训练模板共用入参思路:image(worker 运行镜像)、working_dir(启动目录)、command(启动命令)、num_worker(worker 数目),部分支持 num_ps(参数服务器数目)。镜像/命令仅为示例,实际以你的代码环境为准。

tfjob

TensorFlow 分布式训练模板。

入参:

  • image:worker 镜像,直接运行你代码的环境镜像、基础镜像,如 kubeflow/tf-mnist-with-summaries:latest
  • working_dir:命令的启动目录,如 /mnt/admin/pipeline/example/tf/
  • command:启动命令,如 python /var/tf_mnist/mnist_with_summaries.py
  • num_worker:分布式训练 worker 的数目,如 2

pytorchjob

pytorch 分布式训练模板。

入参:

  • image:worker 镜像,如 ccr.ccs.tencentyun.com/cube-studio/ubuntu-gpu:cuda11.8.0-cudnn8-python3.9
  • working_dir:命令的启动目录,如 /mnt/admin/pipeline/example/pytorch/
  • command:启动命令,如 bash start.sh
  • num_worker:分布式训练 worker 的数目,如 3

mxnet

mxnet 分布式训练模板。

入参:

  • image:worker 镜像,如 mxjob/mxnet:gpu
  • working_dir:命令的启动目录,如 /mnt/admin/pipeline/example/mxnet/
  • command:启动命令,如 bash start.sh
  • num_worker:分布式训练 worker 的数目,如 1
  • num_ps:分布式训练 ps 的数目,如 1

paddlejob

paddle 分布式训练模板。

入参:

  • image:worker 镜像,如 registry.baidubce.com/paddlepaddle/paddle:2.4.0rc0-gpu-cuda11.2-cudnn8.1-trt8.0
  • working_dir:命令的启动目录,如 /mnt/admin/pipeline/example/paddlejob/
  • command:启动命令,如 python -m paddle.distributed.launch run_check
  • num_worker:分布式训练 worker 的数目,如 2
  • num_ps:分布式训练 ps 的数目,如 0

mindspore

mindspore 分布式训练模板。

入参:

  • image:worker 镜像,如 lyd911/mindspore-cpu-example:0.2.0
  • working_dir:启动目录,如 /mnt/admin/pipeline/example/mindspore/
  • command:启动命令,如 python /tmp/lenet.py
  • num_worker:占用机器个数,如 3
最后更新 2026-06-30完整文档以官方仓库为准:GitHub Wiki