数据治理(九):Atlas 界面操作
Atlas 界面操作
上篇回顾
Atlas 可以针对多个不同的数据源,统一采用 kafka 作为中间消息传递队列,使元数据源与服务端采用异步方式进行沟通,减少元数据采集对正常业务效率的影响,但是目前的 Atlas 版本监控 Hive 中数据操作比较完善,但是监控 Sqoo(目前只支持 hive import)、Spark 等支持不好。
我们可以使用 Atlas 监控 Hive 中的元数据,这时需要配置 Hive Hook(钩子),在 Hive 中做的任何操作,都会被钩子所感应到,并以事件的形式发布到 kafka,然后,Atlas 的 Ingest 模块会消费到 Kafka 中的消息,并解析生成相应的 Atlas 元数据写入底层的 Janus 图数据库来存储管理
安装好 Atlas 之后,可以操作 Atlas 页面这里主要查看导入 Hive 的元数据信息。
一、查看同步过来的 Hive 表
二、 查看表的 properties:
三、查看表的 Lineage,这里首次导入看不到血缘关系:
四、查看表的关系:
五、查看表类别:
六、查看表审计信息,包含修改时间,详情等:
七、查看表的 Schema 信息:
版权声明: 本文为 InfoQ 作者【Lansonli】的原创文章。
原文链接:【http://xie.infoq.cn/article/deb282eecc883dad6b804819c】。文章转载请联系作者。
评论