数据治理 参数详情
字段「默认值/必填/可选值」为后端表单(add/edit_form_extra_fields)静态快照,运行时可能随用户、配置或 _info 接口动态变化,联调时以 $view/api/_info 返回为准。通用调用约定见 README 与 标准化接口。
库表管理
/metadata_table_modelview/api,表名:metadata_table,视图:Metadata_table_ModelView_Api,模型:Metadata_table。
源码:myapp/views/view_metadata.py,myapp/models/model_metadata.py。
新增参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
app |
app |
string(enum) |
是 |
|
否 |
所属应用 |
DataRequired(); choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
db |
db |
string(enum) |
是 |
|
否 |
库名 |
DataRequired(); Regexp('^[\x00-\x7f]*$'); choices=[[]] |
table |
table |
string |
是 |
|
否 |
数据表 格式:dwd_[产品][数据域][数据域描述]_[刷新周期d/w/m/y][存储策略i(增量)/和f(全量)] 例如,dwd_qq_common_click_di; 表名由字母数组下划线组成 |
Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$'); Length(1, 54); DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
field |
field |
array |
否 |
|
否 |
所属数据域 |
choices=[[x, x] for x in ['field1', 'field2', 'field3']] |
warehouse_level |
warehouse_level |
string(enum) |
是 |
TMP |
否 |
数仓等级 |
DataRequired(); choices=[['ODS', 'ODS'], ['DWD', 'DWD'], ['DWS', 'DWS'], ['TOPIC', 'TOPIC'], ['APP', 'APP'], ['DIM', 'DIM'], ['TMP', 'TMP']] |
value_score |
value_score |
string |
否 |
0 |
否 |
价值评估 |
|
storage_cost |
storage_cost |
string |
是 |
0 |
否 |
存储成本 |
DataRequired(); Regexp('^[0-9]*$') |
security_level |
security_level |
string(enum) |
是 |
普通 |
否 |
安全等级 |
DataRequired(); choices=[[_(x), _(x)] for x in ['普通', '机密', '秘密', '高度机密']] |
ttl |
ttl |
string(enum) |
是 |
1 year |
否 |
保留时长 |
DataRequired(); choices=[[_(x), _(x)] for x in ['1 week', '1 month', '3 month', '6 month', '1 year', 'forever']] |
create_table_ddl |
create_table_ddl |
string |
否 |
|
否 |
建表sql语句 |
|
修改参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
app |
app |
string(enum) |
是 |
|
否 |
所属应用 |
DataRequired(); choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
db |
db |
string(enum) |
是 |
|
否 |
库名 |
DataRequired(); Regexp('^[\x00-\x7f]*$'); choices=[[]] |
table |
table |
string |
是 |
|
否 |
数据表 格式:dwd_[产品][数据域][数据域描述]_[刷新周期d/w/m/y][存储策略i(增量)/和f(全量)] 例如,dwd_qq_common_click_di; 表名由字母数组下划线组成 |
Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$'); Length(1, 54); DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
field |
field |
array |
否 |
|
否 |
所属数据域 |
choices=[[x, x] for x in ['field1', 'field2', 'field3']] |
warehouse_level |
warehouse_level |
string(enum) |
是 |
TMP |
否 |
数仓等级 |
DataRequired(); choices=[['ODS', 'ODS'], ['DWD', 'DWD'], ['DWS', 'DWS'], ['TOPIC', 'TOPIC'], ['APP', 'APP'], ['DIM', 'DIM'], ['TMP', 'TMP']] |
value_score |
value_score |
string |
否 |
0 |
否 |
价值评估 |
|
storage_cost |
storage_cost |
string |
是 |
0 |
否 |
存储成本 |
DataRequired(); Regexp('^[0-9]*$') |
security_level |
security_level |
string(enum) |
是 |
普通 |
否 |
安全等级 |
DataRequired(); choices=[[_(x), _(x)] for x in ['普通', '机密', '秘密', '高度机密']] |
ttl |
ttl |
string(enum) |
是 |
1 year |
否 |
保留时长 |
DataRequired(); choices=[[_(x), _(x)] for x in ['1 week', '1 month', '3 month', '6 month', '1 year', 'forever']] |
create_table_ddl |
create_table_ddl |
string |
否 |
|
否 |
建表sql语句 |
|
查看参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
app |
app |
string(enum) |
是 |
|
否 |
所属应用 |
DataRequired(); choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
db |
db |
string(enum) |
是 |
|
否 |
库名 |
DataRequired(); Regexp('^[\x00-\x7f]*$'); choices=[[]] |
table |
table |
string |
是 |
|
否 |
数据表 格式:dwd_[产品][数据域][数据域描述]_[刷新周期d/w/m/y][存储策略i(增量)/和f(全量)] 例如,dwd_qq_common_click_di; 表名由字母数组下划线组成 |
Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$'); Length(1, 54); DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
field |
field |
array |
否 |
|
否 |
所属数据域 |
choices=[[x, x] for x in ['field1', 'field2', 'field3']] |
warehouse_level |
warehouse_level |
string(enum) |
是 |
TMP |
否 |
数仓等级 |
DataRequired(); choices=[['ODS', 'ODS'], ['DWD', 'DWD'], ['DWS', 'DWS'], ['TOPIC', 'TOPIC'], ['APP', 'APP'], ['DIM', 'DIM'], ['TMP', 'TMP']] |
owner |
owner |
string |
否 |
|
否 |
责任人,逗号分隔的多个用户 |
|
c_org_fullname |
c_org_fullname |
string |
否 |
|
否 |
所属组织架构 |
|
storage_size |
storage_size |
string |
否 |
0 |
否 |
存储大小 |
|
lifecycle |
lifecycle |
integer |
否 |
0 |
否 |
生命周期 |
|
rec_lifecycle |
rec_lifecycle |
integer |
否 |
0 |
否 |
推荐生命周期 |
|
storage_cost |
storage_cost |
string |
是 |
0 |
否 |
存储成本 |
DataRequired(); Regexp('^[0-9]*$') |
visits_seven |
visits_seven |
integer |
否 |
0 |
否 |
7日访问量 |
|
recent_visit |
recent_visit |
date |
否 |
|
否 |
最新被访问时间 |
|
partition_start |
partition_start |
string |
否 |
|
否 |
分区起点 |
|
partition_end |
partition_end |
string |
否 |
|
否 |
分区终点 |
|
status |
status |
string |
否 |
|
否 |
状态 |
|
visits_thirty |
visits_thirty |
integer |
否 |
0 |
否 |
30日访问量 |
|
create_table_ddl |
create_table_ddl |
string |
否 |
|
否 |
建表sql语句 |
|
metadata_column |
metadata_column |
string |
否 |
[] |
否 |
列信息 |
|
指标管理
/metadata_metric_modelview/api,表名:metadata_metric,视图:Metadata_metric_ModelView_Api,模型:Metadata_metric。
源码:myapp/views/view_metadata_metric.py,myapp/models/model_metadata_metric.py。
新增参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
metric_data_type |
metric_data_type |
string(enum) |
否 |
|
否 |
指标归属模块 |
choices=[[x, x] for x in ['module1', 'module2', 'module3']] |
name |
name |
string |
是 |
|
否 |
指标英文名 |
DataRequired(); Regexp('^[\x00-\x7f]*$') |
label |
label |
string |
是 |
|
否 |
指标中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
指标描述 |
DataRequired() |
metric_type |
metric_type |
string(enum) |
否 |
原子指标 |
否 |
指标类型 原子指标 衍生指标 |
choices=[[_(x), _(x)] for x in ['原子指标', '衍生指标']] |
metric_level |
metric_level |
string(enum) |
否 |
普通 |
否 |
指标重要级别 |
choices=[[_(x), _(x)] for x in ['普通', '重要', '核心']] |
metric_dim |
metric_dim |
string(enum) |
否 |
day |
否 |
指标维度 |
choices=[[x, x] for x in ['day', 'week', 'month']] |
metric_responsible |
metric_responsible |
string |
是 |
|
否 |
指标负责人,逗号分隔 |
DataRequired() |
caliber |
caliber |
string |
是 |
|
否 |
指标口径描述,代码和计算公式 |
DataRequired() |
task_id |
task_id |
string |
否 |
|
否 |
所有相关任务id |
|
public |
public |
boolean |
否 |
True |
否 |
是否公开 |
|
remark |
remark |
string |
否 |
|
否 |
指标备注 |
|
修改参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
metric_data_type |
metric_data_type |
string(enum) |
否 |
|
否 |
指标归属模块 |
choices=[[x, x] for x in ['module1', 'module2', 'module3']] |
name |
name |
string |
是 |
|
否 |
指标英文名 |
DataRequired(); Regexp('^[\x00-\x7f]*$') |
label |
label |
string |
是 |
|
否 |
指标中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
指标描述 |
DataRequired() |
metric_type |
metric_type |
string(enum) |
否 |
原子指标 |
否 |
指标类型 原子指标 衍生指标 |
choices=[[_(x), _(x)] for x in ['原子指标', '衍生指标']] |
metric_level |
metric_level |
string(enum) |
否 |
普通 |
否 |
指标重要级别 |
choices=[[_(x), _(x)] for x in ['普通', '重要', '核心']] |
metric_dim |
metric_dim |
string(enum) |
否 |
day |
否 |
指标维度 |
choices=[[x, x] for x in ['day', 'week', 'month']] |
metric_responsible |
metric_responsible |
string |
是 |
|
否 |
指标负责人,逗号分隔 |
DataRequired() |
caliber |
caliber |
string |
是 |
|
否 |
指标口径描述,代码和计算公式 |
DataRequired() |
task_id |
task_id |
string |
否 |
|
否 |
所有相关任务id |
|
public |
public |
boolean |
否 |
True |
否 |
是否公开 |
|
remark |
remark |
string |
否 |
|
否 |
指标备注 |
|
查看参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
id |
id |
integer |
否 |
|
否 |
id主键 |
|
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
choices=[[x, x] for x in ['app1', 'app2', 'app3']] |
metric_data_type |
metric_data_type |
string(enum) |
否 |
|
否 |
指标归属模块 |
choices=[[x, x] for x in ['module1', 'module2', 'module3']] |
name |
name |
string |
是 |
|
否 |
指标英文名 |
DataRequired(); Regexp('^[\x00-\x7f]*$') |
label |
label |
string |
是 |
|
否 |
指标中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
指标描述 |
DataRequired() |
metric_type |
metric_type |
string(enum) |
否 |
原子指标 |
否 |
指标类型 原子指标 衍生指标 |
choices=[[_(x), _(x)] for x in ['原子指标', '衍生指标']] |
metric_level |
metric_level |
string(enum) |
否 |
普通 |
否 |
指标重要级别 |
choices=[[_(x), _(x)] for x in ['普通', '重要', '核心']] |
metric_dim |
metric_dim |
string(enum) |
否 |
day |
否 |
指标维度 |
choices=[[x, x] for x in ['day', 'week', 'month']] |
metric_responsible |
metric_responsible |
string |
是 |
|
否 |
指标负责人,逗号分隔 |
DataRequired() |
caliber |
caliber |
string |
是 |
|
否 |
指标口径描述,代码和计算公式 |
DataRequired() |
task_id |
task_id |
string |
否 |
|
否 |
所有相关任务id |
|
public |
public |
boolean |
否 |
True |
否 |
是否公开 |
|
remark |
remark |
string |
否 |
|
否 |
指标备注 |
|
维表管理
/dimension_table_modelview/api,表名:dimension,视图:Dimension_table_ModelView_Api,模型:Dimension_table。
源码:myapp/views/view_dimension.py,myapp/models/model_dimension.py。
新增参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
sqllchemy_uri |
链接串地址 |
string |
是 |
|
否 |
链接串地址: ; 示例:mysql+pymysql://账号:密码@ip:端口/库名?charset=utf8 ; 示例:postgresql+psycopg2://账号:密码@ip:端口/库名 |
DataRequired(); Regexp('^(mysql\+pymysql|postgresql\+psycopg2)://.:.@.:[0-9]/[a-zA-Z_\-]*') |
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
DataRequired(); choices=[[_(x), _(x)] for x in ['app1', 'app2', 'app3']] |
table_name |
table_name |
string |
是 |
|
是 |
远程数据库的表名(小写字母、数字、_ 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
owner |
owner |
string |
是 |
|
否 |
责任人,逗号分隔的多个用户 |
DataRequired() |
columns |
columns |
string |
否 |
{} |
否 |
维表字段信息,必须包含自增主键列,例如id |
|
修改参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
sqllchemy_uri |
链接串地址 |
string |
是 |
|
否 |
链接串地址: ; 示例:mysql+pymysql://账号:密码@ip:端口/库名?charset=utf8 ; 示例:postgresql+psycopg2://账号:密码@ip:端口/库名 |
DataRequired(); Regexp('^(mysql\+pymysql|postgresql\+psycopg2)://.:.@.:[0-9]/[a-zA-Z_\-]*') |
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
DataRequired(); choices=[[_(x), _(x)] for x in ['app1', 'app2', 'app3']] |
table_name |
table_name |
string |
是 |
|
是 |
远程数据库的表名(小写字母、数字、_ 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
owner |
owner |
string |
是 |
|
否 |
责任人,逗号分隔的多个用户 |
DataRequired() |
columns |
columns |
string |
否 |
{} |
否 |
维表字段信息,必须包含自增主键列,例如id |
|
查看参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
id |
id |
integer |
否 |
|
否 |
id主键 |
|
app |
app |
string(enum) |
是 |
|
否 |
应用名 |
DataRequired(); choices=[[_(x), _(x)] for x in ['app1', 'app2', 'app3']] |
sqllchemy_uri |
链接串地址 |
string |
是 |
|
否 |
链接串地址: ; 示例:mysql+pymysql://账号:密码@ip:端口/库名?charset=utf8 ; 示例:postgresql+psycopg2://账号:密码@ip:端口/库名 |
DataRequired(); Regexp('^(mysql\+pymysql|postgresql\+psycopg2)://.:.@.:[0-9]/[a-zA-Z_\-]*') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
描述 |
DataRequired() |
table_name |
table_name |
string |
是 |
|
是 |
远程数据库的表名(小写字母、数字、_ 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-_]*[a-z0-9]$') |
owner |
owner |
string |
是 |
|
否 |
责任人,逗号分隔的多个用户 |
DataRequired() |
columns |
columns |
string |
否 |
{} |
否 |
维表字段信息,必须包含自增主键列,例如id |
|
status |
status |
integer |
否 |
1 |
否 |
状态 |
|
数据集管理
/dataset_modelview/api,表名:dataset,视图:Dataset_ModelView_Api,模型:Dataset。
源码:myapp/views/view_dataset.py,myapp/models/model_dataset.py。
新增参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
name |
name |
string |
是 |
|
否 |
数据集英文名,(小写字母、数字、- 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$') |
version |
version |
string |
是 |
latest |
否 |
数据集版本 |
DataRequired(); Regexp('[a-z0-9_\-\.]*') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
数据集描述 |
DataRequired() |
url |
url |
string |
否 |
|
否 |
关于数据集介绍或者手动下载的网址,每行一个网址 |
|
download_url |
download_url |
string |
否 |
|
否 |
如何数据集存储在外部,此处提供可以直接下载的链接地址,每行一个url |
|
path |
path |
string |
否 |
|
否 |
本地文件通过notebook上传到平台内,处理后,压缩成单个压缩文件,每行一个压缩文件地址。上传文件 |
|
icon |
icon |
string |
否 |
|
否 |
可以为图片地址,svg源码,或者帮助文档链接 |
|
owner |
owner |
string |
是 |
* |
否 |
责任人,逗号分隔的多个用户,*表示公开 |
DataRequired() |
features |
features |
string |
否 |
|
否 |
数据集中的列信息,要求数据集中要有data.csv文件用于表示数据集中的全部数据 |
|
修改参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
name |
name |
string |
是 |
|
否 |
数据集英文名,(小写字母、数字、- 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$') |
version |
version |
string |
是 |
latest |
否 |
数据集版本 |
DataRequired(); Regexp('[a-z0-9_\-\.]*') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
数据集描述 |
DataRequired() |
url |
url |
string |
否 |
|
否 |
关于数据集介绍或者手动下载的网址,每行一个网址 |
|
download_url |
download_url |
string |
否 |
|
否 |
如何数据集存储在外部,此处提供可以直接下载的链接地址,每行一个url |
|
path |
path |
string |
否 |
|
否 |
本地文件通过notebook上传到平台内,处理后,压缩成单个压缩文件,每行一个压缩文件地址。上传文件 |
|
icon |
icon |
string |
否 |
|
否 |
可以为图片地址,svg源码,或者帮助文档链接 |
|
owner |
owner |
string |
是 |
* |
否 |
责任人,逗号分隔的多个用户,*表示公开 |
DataRequired() |
features |
features |
string |
否 |
|
否 |
数据集中的列信息,要求数据集中要有data.csv文件用于表示数据集中的全部数据 |
|
查看参数
| 参数 |
名称 |
类型 |
必填 |
默认值 |
唯一 |
说明 |
校验/可选值 |
id |
id |
integer |
否 |
|
否 |
id主键 |
|
name |
name |
string |
是 |
|
否 |
数据集英文名,(小写字母、数字、- 组成),最长50个字符 |
DataRequired(); Regexp('^[a-z][a-z0-9\-]*[a-z0-9]$') |
version |
version |
string |
是 |
latest |
否 |
数据集版本 |
DataRequired(); Regexp('[a-z0-9_\-\.]*') |
label |
label |
string |
是 |
|
否 |
中文名 |
DataRequired() |
describe |
describe |
string |
是 |
|
否 |
数据集描述 |
DataRequired() |
segment |
segment |
string |
否 |
{} |
否 |
可以追加数据块,避免整块更新,记录分区信息。分区名,文件文件信息 |
|
source_type |
source_type |
string(enum) |
否 |
开源 |
否 |
数据集来源,开源,资产,采购 |
choices=[[_(x), _(x)] for x in ['开源', '自产', '购买']] |
source |
source |
string(enum) |
否 |
|
否 |
数据来源,可自己填写 |
choices=[[_(x), _(x)] for x in ['github', 'kaggle', 'ali', 'uci', 'aws', 'google', 'company1', 'label-team1', 'web1']] |
industry |
industry |
string(enum) |
否 |
|
否 |
行业分类 |
choices=[[_(x), _(x)] for x in ['农业', '生物学', '气候+天气', '复杂网络', '计算机网络', '网络安全', '数据挑战', '地球科学', '经济学', '教育', '能源', '娱乐', '金融', 'GIS', '政府'... |
field |
field |
string(enum) |
否 |
|
否 |
数据领域,视觉,听觉,文本 |
choices=[[_(x), _(x)] for x in ['视觉', '语音', '自然语言', '多模态', '风控', '搜索', '推荐', '广告']] |
usage |
usage |
string |
否 |
|
否 |
数据用途 |
|
storage_class |
storage_class |
string(enum) |
否 |
|
否 |
存储类型,压缩 |
choices=[[_(x), _(x)] for x in ['压缩', '未压缩']] |
file_type |
file_type |
array |
否 |
|
否 |
文件类型,图片 png,音频 |
choices=[[x, x] for x in ['png', 'jpg', 'txt', 'csv', 'wav', 'mp3', 'mp4', 'nv4', 'zip', 'gz']] |
status |
status |
string(enum) |
否 |
|
否 |
数据集状态 |
choices=[[_(x), _(x)] for x in ['损坏', '正常', '未购买', '已购买', '未标注', '已标注', '未校验', '已校验']] |
url |
url |
string |
否 |
|
否 |
关于数据集介绍或者手动下载的网址,每行一个网址 |
|
path |
path |
string |
否 |
|
否 |
本地文件通过notebook上传到平台内,处理后,压缩成单个压缩文件,每行一个压缩文件地址。上传文件 |
|
download_url |
download_url |
string |
否 |
|
否 |
如何数据集存储在外部,此处提供可以直接下载的链接地址,每行一个url |
|
storage_size |
storage_size |
string |
否 |
|
否 |
存储大小 |
|
entries_num |
entries_num |
string |
否 |
|
否 |
记录数目 |
|
duration |
duration |
string |
否 |
|
否 |
时长 |
|
price |
price |
string |
否 |
0 |
否 |
价格 |
|
icon |
icon |
string |
否 |
|
否 |
可以为图片地址,svg源码,或者帮助文档链接 |
|
owner |
owner |
string |
是 |
* |
否 |
责任人,逗号分隔的多个用户,*表示公开 |
DataRequired() |
features |
features |
string |
否 |
|
否 |
数据集中的列信息,要求数据集中要有data.csv文件用于表示数据集中的全部数据 |
|