服务任务流(服务侧 Pipeline 编排)
服务任务流是面向服务化场景的 DAG 编排:把「入口 → 处理 → 输出」的在线数据流编排为常驻服务并部署运行。 它与训练任务流的区别:训练任务流是按调度批次运行的离线 Pipeline,服务任务流是持续接收请求 / 消息的在线 Pipeline。
后端:模型
myapp/models/model_service_pipeline.py,视图myapp/views/view_service_pipeline.py(路由/service_pipeline_modelview/api)。
节点模板(三组)
编排画布中的节点模板按三组组织(入口 / 逻辑节点 / 功能节点):
| 分组 | 说明 |
|---|---|
| 入口(endpoint) | 数据流入口,内置两类:mq(消息队列触发)与 gateway(网关 / HTTP 触发),入口类型决定服务的触发方式 |
| 逻辑节点 | 流程控制类节点 |
| 功能节点 | 数据处理 / 推理等业务功能节点 |
关键配置
| 字段 | 默认 | 说明 |
|---|---|---|
dag_json |
{} |
节点上下游关系(画布编排结果) |
namespace |
service |
部署命名空间(与推理服务同区) |
images / working_dir / command |
— | 运行镜像、工作目录与启动命令 |
volume_mount |
— | 挂载配置 |
replicas |
1 | 副本数 |
resource_cpu / resource_memory / resource_gpu |
2 / 2G / 0 | 资源申请 |
parallelism |
1 | 同一服务任务流内最大并行 task 数 |
alert_status |
Pending,Running,Succeeded,Failed,Terminated | 触发报警的状态集合 |
alert_user |
— | 报警接收人 |
使用方式(界面 / 接口)
- 创建服务任务流,选择项目组、镜像与资源,在画布中从「入口」拖入
mq或gateway节点,再串联逻辑 / 功能节点; - 运行:
/run_service_pipeline/<id>(平台按入口类型拉起对应的常驻服务); - 运维:
/web/<id>(编排页)、/web/log/<id>(日志)、/web/monitoring/<id>(监控); - 报警:按
alert_status配置的状态变化推送给alert_user。
字段默认值 / 完整生命周期以
model_service_pipeline.py、view_service_pipeline.py为准。