国产芯片开发环境镜像体系
平台所有 Web 开发环境(JupyterLab / VSCode / RStudio)都抽象为 notebook,可选镜像由 config.py 的 NOTEBOOK_IMAGES(install/docker/config.py:951,[镜像地址, 显示名])控制。「支持某国产卡开发」= 把该卡开发镜像加进 NOTEBOOK_IMAGES。
运行约定:GPU/NPU notebook 独占卡、平台定时回收需按时续期;定时清理默认不启用(Celery 控制,开启后每日凌晨 4 点);每次启动执行 /init.sh(镜像)与 /mnt/<用户名>/init.sh(个人目录)双脚本,依赖写进个人 init.sh 可重启自动重装、持久化个人环境。
一、国产芯片开发镜像(config 注释内置,取消注释即上线)
| 卡 | 框架栈 | 镜像(示例,以实际为准) |
|---|---|---|
| 昇腾 NPU | MindFormers 1.2 + MindSpore 2.3 | notebook-enterprise:jupyter-ascend-npu-mindformers1.2_mindspore2.3 / vscode-ascend-npu-... |
| 海光 DCU | PyTorch 2.4.1 + DTK 25.04.1 | image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10-devel |
| 寒武纪 MLU | PyTorch 2.4.0 + torch_mlu 1.24.1 | pytorch:v24.12.1-torch2.4.0-torchmlu1.24.1-ubuntu22.04-py310 |
| 沐曦 C500 | MACA 2.23 + PyTorch | maca-c500-pytorch:2.23.0.5-ubuntu22.04-x86_64 |
| 昆仑芯 XPU | PaddlePaddle + XPU | paddle-xpu:ubuntu20-x86_64-gcc84-py310 |
注:config 注释里
昆仑芯-pytorch的值疑似误填成 maca 镜像;昆仑芯实际应用paddle-xpu镜像(同段NOTEBOOK_IMAGES列表注释项)。上线时以卡对应软件栈为准。
二、国产卡开发镜像怎么构建(叠加 jupyter)
思路:以厂商算力基础镜像为 FROM_IMAGES,叠加 JupyterLab/VSCode 前后端 + 运维工具 + 中文环境。昇腾范例 images/jupyter-notebook/build-ascend.sh:
hubhost=ccr.ccs.tencentyun.com/cube-studio
base_image=swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-mindspore:24.0.RC1-A2-ubuntu20.04
docker build -t $hubhost/notebook-enterprise:jupyter-ascend-npu-24.0.RC1-A2 \
--build-arg FROM_IMAGES=$base_image -f Dockerfile-ascend-npu .
Dockerfile-ascend-npu 在昇腾底座上装运维工具、中文(zh_CN.UTF-8+文泉驿)、Node.js、SSH、jupyterlab==3.4.8+notebook==6.4.12+中文语言包及常用 Python 库。换 FROM_IMAGES 底座即可为海光/寒武纪/沐曦等任意国产卡做开发镜像。这是三种构建方法里的「在已有镜像上叠加 jupyter」,另见 自定义 Notebook 镜像。
三、x86 GPU 框架矩阵(框架 × Python × CUDA)
| 框架 | Python | CUDA |
|---|---|---|
| PyTorch | 3.9/3.10/3.11 | 11.8/12.1/13.1 |
| TensorFlow / MXNet / PaddlePaddle / MindSpore / DeepSpeed | 3.9/3.10/3.11 | 11.8 |
四、风味镜像
base(精简快启)/ Pro(多插件+多 Python+Julia/R 内核+GPU 监控)/ bigdata(Hadoop/Spark/Hive/Flink)/ deeplearning / machinelearning / rstudio / matlab。取舍:装得越多启动越慢,故 base 与 Pro 并存。
五、上线与持久化
更新 NOTEBOOK_IMAGES 即上线;ARM64(鲲鹏/飞腾)用带 -arm64 后缀镜像。notebook 启动自动执行 /init.sh 与 /mnt/<用户名>/init.sh,把依赖装进个人目录 init.sh 可重启自动重装、持久化个人环境。详见 自定义 Notebook 镜像。