GitHub 源码知乎专栏

数据库结构 - 数据开发 ETL

查 ETL 数据开发任务流（etl_pipeline）与任务（etl_task）表字段时

06-二次开发 / 数据库结构
ETL数据开发etl_pipelineetl_task调度引擎dag_json任务流workflowetl_pipeline_run

数据库结构 - 数据开发 ETL

ETL 数据开发域：etl_pipeline 数据开发任务流（带 dag_json 上下游关系与全局配置）、etl_task 任务（绑定任务模板与远程调度系统任务 id）。对应 myapp/models/model_etl_pipeline.py。

etl pipeline表: etl_pipeline

列名 类型 是否为空 默认值 描述 是否唯一 外键
created_on datetime YES None No No
changed_on datetime YES None No No
id int NO None id主键 Yes No
name varchar(100) NO None 英文名 No No
describe varchar(200) NO None 描述 No No
project_id int NO None 项目组id No project(id)
workflow varchar(200) YES None 调度引擎 No No
dag_json mediumtext YES None pipeline的上下游关系 No No
config mediumtext YES None pipeline的全局配置 No No
expand mediumtext YES None 扩展参数 No No
created_by_fk int YES None No ab_user(id)
changed_by_fk int YES None No ab_user(id)

etl task表: etl_task

列名 类型 是否为空 默认值 描述 是否唯一 外键
created_on datetime YES None No No
changed_on datetime YES None No No
id int NO None id主键 Yes No
name varchar(100) NO None 英文名 No No
describe varchar(200) NO None 描述 No No
etl_pipeline_id int YES None 任务流id No No
template varchar(100) NO None 任务模板 No No
task_args mediumtext YES None 任务参数 No No
etl_task_id varchar(100) NO None 远程调度系统任务id No No
expand mediumtext YES None 扩展参数 No No
created_by_fk int YES None No ab_user(id)
changed_by_fk int YES None No ab_user(id)

etl pipeline run表: etl_pipeline_run

列名 类型 是否为空 默认值 描述 是否唯一 外键
id int NO None id主键 Yes No
pipeline_id int NO None 任务流id No etl_pipeline(id)
run_id varchar(64) NO None 运行实例id（%Y%m%d%H%M%S-uuid6） Yes No
status varchar(20) NO submitted 提交侧状态（submitted/submit_failed/stopped，运行态从 pod 表合并显示） No No
log_path varchar(500) YES None hostPath 预览/日志根目录 No No
expand text YES [] 扩展参数 No No
最后更新 2026-08-24完整文档以官方仓库为准：GitHub Wiki