深度学习
这几类分布式训练模板共用入参思路:image(worker 运行镜像)、working_dir(启动目录)、command(启动命令)、num_worker(worker 数目),部分支持 num_ps(参数服务器数目)。镜像/命令仅为示例,实际以你的代码环境为准。
tfjob
TensorFlow 分布式训练模板。
入参:
- image:worker 镜像,直接运行你代码的环境镜像、基础镜像,如
kubeflow/tf-mnist-with-summaries:latest - working_dir:命令的启动目录,如
/mnt/admin/pipeline/example/tf/ - command:启动命令,如
python /var/tf_mnist/mnist_with_summaries.py - num_worker:分布式训练 worker 的数目,如
2
pytorchjob
pytorch 分布式训练模板。
入参:
- image:worker 镜像,如
ccr.ccs.tencentyun.com/cube-studio/ubuntu-gpu:cuda11.8.0-cudnn8-python3.9 - working_dir:命令的启动目录,如
/mnt/admin/pipeline/example/pytorch/ - command:启动命令,如
bash start.sh - num_worker:分布式训练 worker 的数目,如
3
mxnet
mxnet 分布式训练模板。
入参:
- image:worker 镜像,如
mxjob/mxnet:gpu - working_dir:命令的启动目录,如
/mnt/admin/pipeline/example/mxnet/ - command:启动命令,如
bash start.sh - num_worker:分布式训练 worker 的数目,如
1 - num_ps:分布式训练 ps 的数目,如
1
paddlejob
paddle 分布式训练模板。
入参:
- image:worker 镜像,如
registry.baidubce.com/paddlepaddle/paddle:2.4.0rc0-gpu-cuda11.2-cudnn8.1-trt8.0 - working_dir:命令的启动目录,如
/mnt/admin/pipeline/example/paddlejob/ - command:启动命令,如
python -m paddle.distributed.launch run_check - num_worker:分布式训练 worker 的数目,如
2 - num_ps:分布式训练 ps 的数目,如
0
mindspore
mindspore 分布式训练模板。
入参:
- image:worker 镜像,如
lyd911/mindspore-cpu-example:0.2.0 - working_dir:启动目录,如
/mnt/admin/pipeline/example/mindspore/ - command:启动命令,如
python /tmp/lenet.py - num_worker:占用机器个数,如
3