数据开发 参数详情
字段「默认值/必填/可选值」为后端表单(
add/edit_form_extra_fields)静态快照,运行时可能随用户、配置或_info接口动态变化,联调时以$view/api/_info返回为准。通用调用约定见 README 与 标准化接口。
数据开发任务流管理
/etl_pipeline_modelview/api,表名:etl_pipeline,视图:ETL_Pipeline_ModelView_Api,模型:ETL_Pipeline。
源码:myapp/views/view_etl_pipeline.py,myapp/models/model_etl_pipeline.py。
新增参数
| 参数 | 名称 | 类型 | 必填 | 默认值 | 唯一 | 说明 | 校验/可选值 |
|---|---|---|---|---|---|---|---|
project |
项目组 | relation | 是 | 否 | 项目组id | ||
name |
名称 | string | 是 | 是 | 英文名(小写字母、数字、- 组成),最长50个字符 | Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$'); Length(1, 54); DataRequired() | |
describe |
描述 | string | 是 | 否 | 任务流描述 | ||
workflow |
调度引擎 | string(enum) | 是 | airflow | 否 | 调度集群选择 | DataRequired(); choices=[['airflow', 'airflow'], ['dolphinscheduler', 'dolphinscheduler'], ['azkaban', 'azkaban']] |
修改参数
| 参数 | 名称 | 类型 | 必填 | 默认值 | 唯一 | 说明 | 校验/可选值 |
|---|---|---|---|---|---|---|---|
project |
项目组 | relation | 是 | 否 | 项目组id | ||
name |
名称 | string | 是 | 是 | 英文名(小写字母、数字、- 组成),最长50个字符 | Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$'); Length(1, 54); DataRequired() | |
describe |
描述 | string | 是 | 否 | 任务流描述 | ||
workflow |
调度引擎 | string(enum) | 是 | airflow | 否 | 调度集群选择 | DataRequired(); choices=[['airflow', 'airflow'], ['dolphinscheduler', 'dolphinscheduler'], ['azkaban', 'azkaban']] |
查看参数
| 参数 | 名称 | 类型 | 必填 | 默认值 | 唯一 | 说明 | 校验/可选值 |
|---|---|---|---|---|---|---|---|
project |
项目组 | relation | 是 | 否 | 项目组id | ||
name |
名称 | string | 是 | 是 | 英文名(小写字母、数字、- 组成),最长50个字符 | Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$'); Length(1, 54); DataRequired() | |
describe |
描述 | string | 是 | 否 | 任务流描述 | ||
config |
config | string | 否 | {} | 否 | pipeline的全局配置 | |
dag_json |
上下有关系 | string | 否 | {} | 否 | pipeline的上下游关系 | |
created_by |
created_by | computed | 否 | 否 | |||
changed_by |
changed_by | computed | 否 | 否 | |||
created_on |
created_on | computed | 否 | 否 | |||
changed_on |
changed_on | computed | 否 | 否 | |||
expand |
expand | string | 否 | [] | 否 | 扩展参数 | |
workflow |
调度引擎 | string(enum) | 是 | airflow | 否 | 调度集群选择 | DataRequired(); choices=[['airflow', 'airflow'], ['dolphinscheduler', 'dolphinscheduler'], ['azkaban', 'azkaban']] |
数据开发任务管理
/etl_task_modelview/api,表名:etl_task,视图:ETL_Task_ModelView_Api,模型:ETL_Task。
源码:myapp/views/view_etl_pipeline.py,myapp/models/model_etl_pipeline.py。
新增参数
无。
修改参数
无。
查看参数
| 参数 | 名称 | 类型 | 必填 | 默认值 | 唯一 | 说明 | 校验/可选值 |
|---|---|---|---|---|---|---|---|
template |
template | string | 是 | 否 | 任务模板 | ||
name |
name | string | 是 | 是 | 英文名 | ||
describe |
describe | string | 是 | 否 | 描述 | ||
etl_task_id |
etl_task_id | string | 是 | 否 | 远程调度系统任务id | ||
created_by |
created_by | computed | 否 | 否 | |||
changed_by |
changed_by | computed | 否 | 否 | |||
created_on |
created_on | computed | 否 | 否 | |||
changed_on |
changed_on | computed | 否 | 否 | |||
task_args |
task_args | string | 否 | {} | 否 | 任务参数 |