服务任务流

想把「入口(MQ / 网关)→ 处理 → 输出」的服务化数据流编排为常驻 DAG 服务(区别于离线训练任务流)时读这篇

平台使用 / 服务化与推理
服务任务流service pipeline服务编排实时流水线DAG入口节点mq消息队列gateway网关逻辑节点功能节点并行度parallelism状态报警常驻服务

服务任务流(服务侧 Pipeline 编排)

服务任务流是面向服务化场景的 DAG 编排:把「入口 → 处理 → 输出」的在线数据流编排为常驻服务并部署运行。 它与训练任务流的区别:训练任务流是按调度批次运行的离线 Pipeline,服务任务流是持续接收请求 / 消息的在线 Pipeline。

后端:模型 myapp/models/model_service_pipeline.py,视图 myapp/views/view_service_pipeline.py(路由 /service_pipeline_modelview/api)。

节点模板(三组)

编排画布中的节点模板按三组组织(入口 / 逻辑节点 / 功能节点):

分组 说明
入口(endpoint) 数据流入口,内置两类:mq(消息队列触发)与 gateway(网关 / HTTP 触发),入口类型决定服务的触发方式
逻辑节点 流程控制类节点
功能节点 数据处理 / 推理等业务功能节点

关键配置

字段 默认 说明
dag_json {} 节点上下游关系(画布编排结果)
namespace service 部署命名空间(与推理服务同区)
images / working_dir / command 运行镜像、工作目录与启动命令
volume_mount 挂载配置
replicas 1 副本数
resource_cpu / resource_memory / resource_gpu 2 / 2G / 0 资源申请
parallelism 1 同一服务任务流内最大并行 task 数
alert_status Pending,Running,Succeeded,Failed,Terminated 触发报警的状态集合
alert_user 报警接收人

使用方式(界面 / 接口)

  1. 创建服务任务流,选择项目组、镜像与资源,在画布中从「入口」拖入 mqgateway 节点,再串联逻辑 / 功能节点;
  2. 运行:/run_service_pipeline/<id>(平台按入口类型拉起对应的常驻服务);
  3. 运维:/web/<id>(编排页)、/web/log/<id>(日志)、/web/monitoring/<id>(监控);
  4. 报警:按 alert_status 配置的状态变化推送给 alert_user

字段默认值 / 完整生命周期以 model_service_pipeline.pyview_service_pipeline.py 为准。

最后更新 2026-07-15完整文档以官方仓库为准:GitHub Wiki