写点什么

数据治理(九):Atlas 界面操作

作者:Lansonli
  • 2022 年 9 月 07 日
    广东
  • 本文字数:405 字

    阅读完需:约 1 分钟

数据治理(九):Atlas界面操作

Atlas 界面操作

上篇回顾

Atlas 可以针对多个不同的数据源,统一采用 kafka 作为中间消息传递队列,使元数据源与服务端采用异步方式进行沟通,减少元数据采集对正常业务效率的影响,但是目前的 Atlas 版本监控 Hive 中数据操作比较完善,但是监控 Sqoo(目前只支持 hive import)、Spark 等支持不好。

我们可以使用 Atlas 监控 Hive 中的元数据,这时需要配置 Hive Hook(钩子),在 Hive 中做的任何操作,都会被钩子所感应到,并以事件的形式发布到 kafka,然后,Atlas 的 Ingest 模块会消费到 Kafka 中的消息,并解析生成相应的 Atlas 元数据写入底层的 Janus 图数据库来存储管理


安装好 Atlas 之后,可以操作 Atlas 页面这里主要查看导入 Hive 的元数据信息。

一、查看同步过来的 Hive 表

二、 查看表的 properties:

三、查看表的 Lineage,这里首次导入看不到血缘关系:

四、查看表的关系:

五、查看表类别:

六、查看表审计信息,包含修改时间,详情等:

七、查看表的 Schema 信息:


发布于: 刚刚阅读数: 8
用户头像

Lansonli

关注

微信公众号:三帮大数据 2022.07.12 加入

CSDN大数据领域博客专家,华为云享专家、阿里云专家博主、腾云先锋(TDP)核心成员、51CTO专家博主,全网六万多粉丝,知名互联网公司大数据高级开发工程师

评论

发布
暂无评论
数据治理(九):Atlas界面操作_数据治理_Lansonli_InfoQ写作社区