哪些数据被纳入元数据管理的范畴?
元数据管理到底管理哪些数据?常见的元数据管理包括以下六种数据:
1,数据表的结构 schema 信息
(1) SQL 或者 NoSQL 中的表视图信息,例如 MySQL 中可以通过 SHOW CREATE TABLE table_name 来获取表结构;hive 中可以用 HQL 的 SHOW PARTITIONS table_name 获取该表的分区信息
(2) 表结构的变迁记录,例如 mysql 中的某表增/减了一个什么字段、修改了什么字段等信息
2,数据占用的磁盘空间
(1) 记录表数据占用的空间的大小以及增长趋势
(2) 新增了几张表、删除了几张表、创建了多少个分区
3,数据的读写记录
(1) 记录修改表的是什么人,以及什么时候修改的
(2) 记录哪些数据已经长时间没有被读取或更新了
4,数据的权限归属
(1) 哪些人有权限查阅数据
(2) 哪些人有权限管理数据
5,数据的血缘关系
(1) 数据的上游和下游是哪里,也就是数据从哪来的、将会用到哪里去
(2) 收集数据的血缘关系的作用——如果某数据有问题,可检查它的上游数据以便定位问题;也有助于理清处理这些数据的任务之间是如何互相依赖的
6,数据的业务属性
(1) 数据表做什么用的
(2) 数据表中各个字段的业务含义、统计方式
(3) 具体数据的业务部门归属
(4) 每个数据表分别是由哪位开发者负责的
(5) 脚本逻辑的变迁记录、变迁原因
评论