数据库结构 - 数据治理
数据治理域:dataset 数据集、dimension 维表、metadata_table 离线库表、metadata_metric 指标、favorite 收藏。对应 myapp/models/model_dataset.py、model_metadata.py 等。
数据集表: dataset
| 列名 |
类型 |
是否为空 |
默认值 |
描述 |
是否唯一 |
外键 |
| created_on |
datetime |
YES |
None |
|
No |
No |
| changed_on |
datetime |
YES |
None |
|
No |
No |
| id |
int |
NO |
None |
id主键 |
Yes |
No |
| name |
varchar(200) |
YES |
None |
英文名 |
No |
No |
| label |
varchar(200) |
YES |
None |
中文名 |
No |
No |
| describe |
varchar(2000) |
YES |
None |
描述 |
No |
No |
| version |
varchar(200) |
YES |
None |
版本 |
No |
No |
| subdataset |
varchar(200) |
YES |
None |
数据子集名称,例如英文数据子集,中文数据子集 |
No |
No |
| split |
varchar(200) |
YES |
None |
train test val等 |
No |
No |
| segment |
text |
YES |
None |
可以追加数据块,避免整块更新,记录分区信息。分区名,文件文件信息 |
No |
No |
| doc |
varchar(200) |
YES |
None |
数据集的文档页面 |
No |
No |
| source_type |
varchar(200) |
YES |
None |
数据集来源,开源,资产,采购 |
No |
No |
| source |
varchar(200) |
YES |
None |
数据集来源,github, 天池 |
No |
No |
| industry |
varchar(200) |
YES |
None |
行业 |
No |
No |
| icon |
text |
YES |
None |
数据集预览图片 |
No |
No |
| field |
varchar(200) |
YES |
None |
数据领域,视觉,听觉,文本 |
No |
No |
| usage |
varchar(200) |
YES |
None |
数据用途 |
No |
No |
| research |
varchar(200) |
YES |
None |
研究方向 |
No |
No |
| storage_class |
varchar(200) |
YES |
None |
存储类型,压缩 |
No |
No |
| file_type |
varchar(200) |
YES |
None |
文件类型,图片 png,音频 |
No |
No |
| status |
varchar(200) |
YES |
None |
文件类型 有待校验,已下线 |
No |
No |
| years |
varchar(200) |
YES |
None |
年份 |
No |
No |
| url |
varchar(1000) |
YES |
None |
关联url |
No |
No |
| path |
varchar(400) |
YES |
None |
本地的持久化路径 |
No |
No |
| download_url |
varchar(1000) |
YES |
None |
下载地址 |
No |
No |
| storage_size |
varchar(200) |
YES |
None |
存储大小 |
No |
No |
| entries_num |
varchar(200) |
YES |
None |
记录数目 |
No |
No |
| duration |
varchar(200) |
YES |
None |
时长 |
No |
No |
| price |
varchar(200) |
YES |
None |
价格 |
No |
No |
| secret |
varchar(200) |
YES |
None |
秘钥,数据集的秘钥 |
No |
No |
| info |
text |
YES |
None |
数据集,内容信息 |
No |
No |
| features |
text |
YES |
None |
特征信息 |
No |
No |
| metric_info |
text |
YES |
None |
数据集,指标信息 |
No |
No |
| owner |
varchar(200) |
YES |
None |
责任人,*表示全部可见 |
No |
No |
| expand |
mediumtext |
YES |
None |
扩展参数 |
No |
No |
| created_by_fk |
int |
YES |
None |
|
No |
ab_user(id) |
| changed_by_fk |
int |
YES |
None |
|
No |
ab_user(id) |
维表记录表: dimension
| 列名 |
类型 |
是否为空 |
默认值 |
描述 |
是否唯一 |
外键 |
| id |
int |
NO |
None |
id主键 |
Yes |
No |
| sqllchemy_uri |
varchar(255) |
YES |
None |
sql链接串 |
No |
No |
| table_name |
varchar(255) |
YES |
None |
表名 |
No |
No |
| label |
varchar(255) |
YES |
None |
中文名 |
No |
No |
| describe |
varchar(2000) |
YES |
None |
描述 |
No |
No |
| app |
varchar(255) |
YES |
None |
应用名 |
No |
No |
| owner |
varchar(2000) |
YES |
None |
责任人 |
No |
No |
| columns |
text |
YES |
None |
列信息 |
No |
No |
| status |
int |
YES |
None |
状态 |
No |
No |
离线库表表: metadata_table
| 列名 |
类型 |
是否为空 |
默认值 |
描述 |
是否唯一 |
外键 |
| id |
int |
NO |
None |
id主键 |
Yes |
No |
| node_id |
varchar(200) |
YES |
None |
唯一性id |
No |
No |
| app |
varchar(200) |
YES |
None |
所属应用 |
No |
No |
| c_org_fullname |
varchar(255) |
YES |
None |
所属组织架构 |
No |
No |
| db |
varchar(200) |
YES |
None |
库名 |
No |
No |
| table |
varchar(400) |
YES |
None |
表名 |
No |
No |
| metadata_column |
text |
YES |
None |
列信息 |
No |
No |
| describe |
varchar(200) |
YES |
None |
描述 |
No |
No |
| owner |
varchar(200) |
YES |
None |
责任人 |
No |
No |
| lifecycle |
int |
YES |
None |
生命周期 |
No |
No |
| rec_lifecycle |
int |
YES |
None |
推荐生命周期 |
No |
No |
| storage_size |
varchar(200) |
YES |
None |
存储大小 |
No |
No |
| storage_cost |
float |
YES |
None |
存储成本 |
No |
No |
| visits_seven |
int |
YES |
None |
7日访问量 |
No |
No |
| visits_thirty |
bigint |
YES |
None |
30日访问量 |
No |
No |
| visits_sixty |
bigint |
YES |
None |
60日访问量 |
No |
No |
| recent_visit |
date |
YES |
None |
最新被访问时间 |
No |
No |
| partition_start |
varchar(255) |
YES |
None |
分区起点 |
No |
No |
| partition_end |
varchar(255) |
YES |
None |
分区终点 |
No |
No |
| status |
varchar(255) |
YES |
None |
状态 |
No |
No |
| creator |
varchar(255) |
YES |
None |
创建者 |
No |
No |
| create_table_ddl |
text |
YES |
None |
建表语句 |
No |
No |
| col_info |
text |
YES |
None |
列信息 |
No |
No |
| partition_update_mode |
int |
YES |
None |
分区更新模式 |
No |
No |
| is_privilege |
int |
NO |
None |
是否特权 |
No |
No |
| data_source |
int |
YES |
None |
数据来源 |
No |
No |
| field |
varchar(200) |
YES |
None |
所属数据域 |
No |
No |
| security_level |
varchar(200) |
YES |
None |
安全等级 |
No |
No |
| value_score |
varchar(200) |
YES |
None |
价值评估 |
No |
No |
| warehouse_level |
varchar(200) |
YES |
None |
数仓级别 |
No |
No |
| ttl |
varchar(200) |
YES |
None |
保留时长 |
No |
No |
| expand |
mediumtext |
YES |
None |
扩展参数 |
No |
No |
指标表: metadata_metric
| 列名 |
类型 |
是否为空 |
默认值 |
描述 |
是否唯一 |
外键 |
| id |
int |
NO |
None |
id主键 |
Yes |
No |
| app |
varchar(100) |
NO |
None |
应用名 |
No |
No |
| name |
varchar(300) |
YES |
None |
英文名 |
No |
No |
| label |
varchar(300) |
YES |
None |
中文名 |
No |
No |
| describe |
varchar(500) |
NO |
None |
描述 |
No |
No |
| caliber |
mediumtext |
YES |
None |
数据负责人 |
No |
No |
| metric_type |
varchar(100) |
YES |
None |
指标类型 原子指标 衍生指标 |
No |
No |
| metric_level |
varchar(100) |
YES |
None |
指标等级 普通 重要 核心 |
No |
No |
| metric_dim |
varchar(100) |
YES |
None |
指标维度 天 月 周 |
No |
No |
| metric_data_type |
varchar(100) |
YES |
None |
指标类型 营收/规模/商业化 |
No |
No |
| owner |
varchar(200) |
YES |
None |
指标负责人 |
No |
No |
| status |
varchar(100) |
YES |
None |
状态 下线 上线 创建中 |
No |
No |
| task_id |
varchar(200) |
YES |
None |
所有相关任务id |
No |
No |
| public |
tinyint(1) |
YES |
None |
是否公开 |
No |
No |
| remark |
mediumtext |
YES |
None |
备注 |
No |
No |
| expand |
mediumtext |
YES |
None |
扩展参数 |
No |
No |
收藏表: favorite
| 列名 |
类型 |
是否为空 |
默认值 |
描述 |
是否唯一 |
外键 |
| id |
int |
NO |
None |
id主键 |
Yes |
No |
| model_name |
varchar(100) |
NO |
None |
数据结构 |
No |
No |
| row_id |
varchar(500) |
NO |
None |
数据id |
No |
No |
| user_id |
int |
YES |
None |
用户id |
No |
No |