CubeStudio 平台简介

本篇为「01-架构原理」段总览首篇。功能清单、整体架构、各模块概述在此汇总，更细节的 Kubernetes 基础、基础组件版本与依赖见同段的 平台架构-Kubernetes基础 与 基础组件介绍。

背景

传统算法落地流程：从申请机器、配置环境、拉取数据、处理数据、算法训练、调试、模型测试，到服务化上线全流程，算法工程师在每个环节都浪费了很多时间，而不是把精力集中在算法模型的构建上。

CubeStudio 一站式机器学习平台，从平台架构上对以下几个问题做了更贴近用户实用化的考虑。

主要问题场景：

CubeStudio 是什么

CubeStudio 是开源云原生一站式机器学习/深度学习 AI 平台，支持 SSO 登录、多租户/多项目组、数据资产对接、notebook 在线开发、拖拉拽任务流 pipeline 编排、多机多卡分布式算法训练、超参搜索、推理服务 VGPU、多集群调度、边缘计算、serverless、标注平台自动化标注、数据集管理、大模型一键微调、私有知识库、AI 应用商店；支持模型一键开发/推理/微调、私有化部署，支持国产 CPU/GPU/NPU 芯片，支持 RDMA。

功能清单（商业版）

平台部署

部署说明见 02-部署安装 段。Kubernetes 部署相关说明散落在 install/kubernetes/ 下各组件子目录的 readme（如 rancher/readme.md、prometheus/readme.md 等）以及 install/README.md（仓库中无 install/kubernetes/README.md）。

平台完成部署之后的界面如下：

支持的任务模板

提示：

• 能单机运行没必要多机运行；
• 开发自定义模板更符合自己业务线下的需求。

下表「实现位置」为模板在仓库源码中的相对目录（供检索定位）；模板的使用文档统一见 05-任务模板 段。 注意：传统机器学习算法模板已合并到 job-template/job/sklearn/（各算法对应一个 launcher-*.py）；分布式深度学习框架模板已合并到 job-template/job/deep-learning-framework/（各框架对应一个 README-*.md）。

整体架构

完整的平台包含：

1. 机器的标准化；
2. 分布式存储（单机可忽略）、k8s 集群、监控体系（prometheus/efk/zipkin）；
3. 基础能力（tf/pytorch/mxnet/volcano/ray 等分布式，nni/ray 超参搜索）；
4. 平台 web 部分（oa/权限/项目组、在线构建镜像、在线开发、pipeline 拖拉拽、超参搜索、推理服务管理等）。

算力 / 存储 / 用户管理

算力：

• 云原生统筹平台 cpu/gpu 等算力；
• 支持划分多资源组，支持多 k8s 集群、多地部署；
• 支持 T4/V100/A100/昇腾/dcu/VGPU 等异构 GPU/NPU 环境；
• 支持边缘集群模式，支持边缘节点上开发/训练/推理；
• 支持鲲鹏芯片 arm64 架构、RDMA。

存储：

• 自带分布式存储，支持多机分布式下文件处理；
• 支持外部存储挂载，支持项目组挂载绑定；
• 支持个人存储空间/组空间等多种形式；
• 平台内存储空间不需要迁移。

用户权限：

• 支持 sso 登录，对接公司账号体系；
• 支持项目组划分，支持配置相应项目组用户权限；
• 管理平台用户基本信息、组织架构，rbac 权限体系。

多集群管控

单个 k8s 集群的部署拓扑图：

CubeStudio 支持多集群调度，可同时管控多个训练或推理集群。在单个集群内，不仅能做到一个项目组内对在线开发、训练、推理的隔离，还可以做到一个 k8s 集群下多个项目组算力的隔离。不同项目组下的算力间具有动态均衡能力，能够在多项目间共享公共算力池和私有化算力池，做到成本最低化。

分布式存储

CubeStudio 会自动为用户挂载用户的个人目录，同一个用户在平台任何地方启动的容器，其用户个人子目录均为 /mnt/$username。可以将 pvc/hostpath/memory/configmap 等挂载成容器目录。同时可以在项目组中配置项目组的默认挂载，进而实现一个项目组共享同一个目录等功能。

在线开发

• 系统多租户/多实例管理，在线交互开发调试，无需安装三方控件，只需浏览器就能完成开发；
• 支持 vscode、jupyter、Matlab、Rstudio 等多种在线 IDE 类型；
• Jupyter 支持 cube-studio sdk，Julia、R、python、pyspark 多内核版本；
• 支持 c++、java、conda 等多种开发语言，以及 tensorboard/git/gpu 监控等多种插件；
• 支持 ssh remote 与 notebook 互通，本地进行代码开发；
• 在线镜像构建，通过 Web Shell 在浏览器中完成构建；并提供各种版本 notebook、inference、gpu、python 等基础镜像。

标注平台

• 支持图/文/音/多模态/大模型多种类型标注功能、用户管理、工作任务分发；
• 对接 aihub 模型市场，支持自动化标注；对接数据集，支持标注数据导入；对接 pipeline，支持标注结果自动化训练。

拖拉拽 pipeline 编排

1. ML 全流程：数据导入、数据预处理、超参搜索、模型训练、模型评估、模型压缩、模型注册、服务上线，ML 算法全流程；
2. 灵活开放：支持单任务调试、分布式任务日志聚合查看、pipeline 调试跟踪、任务运行资源监控，以及定时调度功能（补录、忽略、重试、依赖、并发限制、过期淘汰等）。

分布式框架

1. 训练框架支持分布式（协议和策略）；
2. 代码识别分布式角色（有状态）；
3. 控制器部署分布式训练集群（operator）；
4. 配置分布式训练集群的部署（CRD）。

CRD 与 operator 的关系详见 平台架构-Kubernetes基础。

多层次多类型算子

以 k8s 为核心：

1. 支持 tf 分布式训练、pytorch 分布式训练、spark 分布式数据处理、ray 分布式超参搜索、mpi 分布式训练、horovod 分布式训练、nni 分布式超参搜索、mxnet 分布式训练、volcano 分布式数据处理等；
2. 以及衍生的分布式数据下载、hdfs 拉取、cos 上传下载、视频采帧、音频抽取等。

功能模板化

• 与非模板开发相比，使用模板建立应用成本更低，无需开发平台；
• 迁移更容易，模板标准化后，后续应用迭代只需迁移配置模板；
• 配置复用，简单配置即可复用能力，算法与工程分离避免重复开发。

平台对 pipeline 中的 task 功能进行模板化开发，平台开发者或用户可自行开发模板镜像并注册到平台，供其他用户复用。平台自带模板在 job-template/ 目录下（详见 05-任务模板）。

流水线调试

• Pipeline 调试支持定时执行、补录、并发限制、超时、实例依赖等；
• 运行支持变量在任务间输入输出、全局变量、流向控制、模板变量、数据时间等；
• 运行支持任务结果可视化：图片、csv/json、echart 源码可视化。

NNI 超参搜索

界面化呈现训练各组数据，通过图形界面直观呈现，降低调参过程的枯燥感，无需丰富经验即可实现更精准的参数控制调节。

# 上报当前迭代目标值
nni.report_intermediate_result(test_acc)
# 上报最终目标值
nni.report_final_result(test_acc)

# 接收超参数为输入参数
parser.add_argument('--batch_size', type=int)

推理服务

0 代码发布推理服务从底层到上层，包含服务网格、serverless、pipeline、http 框架、模型计算：

• 服务网格阶段：代理流量的中转和管控，例如分流、镜像、限流、黑白名单；
• serverless 阶段：服务的智能化运维，例如服务的激活、伸缩容、版本管理、蓝绿发布；
• pipeline 阶段：请求在各数据处理/推理之间的流动，推理的前后置处理逻辑；
• http/grpc 框架：处理客户端请求、准备推理样本、推理后响应；
• 模型计算：模型在 cpu/gpu 上对输入样本做前向计算。

主要功能：

• 支持模型管理注册、灰度发布、版本回退、模型指标可视化，以及在 pipeline 中进行模型注册；
• 推理服务支持多集群、多资源组、异构 gpu 环境、平台资源统筹监控、VGPU、服务流量分流/复制、sidecar；
• 支持 0 代码模型发布、gpu 推理加速、训练推理混部、服务优先级、自定义指标弹性伸缩。

监控和推送

• 监控：CubeStudio 集成 prometheus 生态，可监控主机、进程、服务流量、gpu 等相关负载，并配套 grafana 进行可视化；
• 推送：CubeStudio 开放推送接口，可自定义推送给企业 oa 系统。

AIHub

• 系统自带通用模型数量 400+，覆盖绝大多数行业场景，可按需扩充；
• 模型开源、按需定制，方便快速集成；
• 模型标准化开发管理，大幅降低使用门槛；
• AIHub 模型可一键部署为 WEB 端应用（手机端/PC 端），实时查看效果；点击模型开发即可进入 notebook 二次开发；点击训练即可加入数据一键微调。

GPT 训练微调

• CubeStudio 支持 deepspeed/colossalai 等分布式加速框架，可一键实现大模型多机多卡分布式训练；
• AIHub 包含 gpt/AIGC 大模型，可一键转为微调 pipeline，修改为自己的数据后即可微调并部署。

GPT-RDMA

rdma 插件部署后，k8s 机器可用资源：

capacity:
  cpu: '128'
  memory: 1056469320Ki
  nvidia.com/gpu: '8'
  rdma/hca: '500'

代码分布式训练中使用 IB 设备：

export NCCL_IB_HCA=mlx5
export MLP_WORKER_GPU=$GPU_NUM
export MLP_WORKER_NUM=$WORLD_SIZE
export MLP_ROLE_INDEX=$RANK
export MLP_WORKER_0_HOST=$MASTER_ADDR
export MLP_WORKER_0_PORT=$MASTER_PORT

GPT 私有知识库

• 数据智能模块可配置专业领域智能对话，快速敏捷使用 llm；
• 可为某个聊天场景配置私有知识库文件，支持主题分割、语义 embedding、意图识别、概要提取、多路召回、排序、多种功能融合。

GPT 智能聊天

• 可将智能会话与 AIHub 结合，例如 AIGC 模型与聊天会话；
• 可使用 Autogpt 方式串联所有 aihub 模型，进行图文音智能化处理；
• 智能会话与公众号打通，可在微信公众号中进行图文音对话。

数据中台对接

为了加速 AI 算法平台的使用，CubeStudio 支持对接公司原有数据中台，包括数据计算引擎 sqllab、元数据管理、指标管理、维表管理、数据 ETL、数据集管理。

三种部署方式

针对企业需求，根据不同场景对计算实时性的不同需求，可以提供三种建设模式：

• 模式一：私有化部署——对数据安全要求高、预算充足、自己有开发能力；
• 模式二：边缘集群部署——算力分散、多个子网环境的场景，或边缘设备场景；
• 模式三：serverless 集群——成本有限、按需申请算力的场景。

具体部署见 02-部署安装 段。

边缘计算

通过边缘集群的形式，在中心节点部署平台，并将边缘节点加入调度，每个私有网用户通过项目组将 notebook、pipeline、service 部署在边缘节点：

1. 避免数据到中心节点的带宽传输；
2. 避免中心节点的算力成本，充分利用边缘节点算力；
3. 避免边缘节点的运维成本。