一文带你体验 MRS HetuEngine 如何实现跨源跨域分析

本文分享自华为云社区《MRS HetuEngine体验跨源跨域分析【玩转华为云】》，作者：龙哥手记。

一 场景完整描述

1.1 首先说明下

1）用户通过登录 Windows 跳板机，使用 SQL 开发工具 DBeaver 连接 MRS 集群 A 的 HetuEngine 进行分析体验 2）跨源分析体验，通过 HetuEngine0 连接集群内部数据源 hive3）跨源分析体验，通过 HetuEngine0 连接集群内部数据源 hbase4）跨仓分析体验，通过 HetuEngine0 连接关系型数据库 DWS5）跨湖分析体验，通过 HetuEngine0 连接到 MRS 集群 B 的 HetuEngine1 再连接到集群 B 的数据源 hive

二 登录环境并完成准备工作

2.1. 登录跳板机

登录：http://121.13.226.78:18080/ssh/#/① 用户名：hdc01，② 密码：请联系现场引导员获取

2.2 登录认证软件 MIT Kerberos 进行认证

点击右下角的 MIT Kerberos,选择 Get Tickets 输入用户名密码获取 Kerberos 认证票据

① Principal：admintest@HADOOP.COM，

② Password: Admin12!

2.3 打开 SQL 编辑器软件 DBeaver

2.4 查看已配置好的 MRS 集群 A 的 HetuEngine 连接

点击三角符号打开已配置好的 HetuEngine 连接说明：

① dws: 外部 dws 数据库

② hbase: MRS 集群 A 中的 hbase 数据源

③ hetu1: 远端 MRS 集群 B 的 HetuEngine

④ hive: MRS 集群 A 中的 hive 数据源

三 体验 HetuEngine hive 查询性能提升

3.1 通过普通 JDBC 查询 MRS 集群 A 中的 hive 表

选择配置好的 hive 数据源 92-hive - New Connection，右键选择 SQL Editor

输入以下 SQL 语句并查看结果与时间

SELECT * FROM sales h1 WHERE h1.price >30;

3.2. 通过 HetuEngine 查询 MRS 集群 A 中的 hive 表

选择配置好的 hive 数据源 92-HetuEngine - New Connection，右键选择 SQL Editor

输入以下的 SQL 语句并查看结果和时间

SELECT *  FROM  hive.default.sales h1 WHERE h1.price >30;

3.3. 结论

通过比较两次查询时间，可以看到 HetuEngine 会加速查询性能，比普通的 hive 查询更加快速；

四 体验 HetuEngine 跨源、跨仓分析能力

4.1 通过 HetuEngine 对 MRS 集群 A 中的 HBase 进行跨源数据查询

在打开的 SQL Editor 中输入如下 SQL 语句查询 MRS 集群 A 的 HBase 数据

SELECT *  FROM  hbase.default.sales;

4.2 通过 HetuEngine 对 DWS 集群 C 进行跨仓数据查询

在打开的 SQL Editor 中输入如下 SQL 语句查询 DWS 集群 C 中的维表数据

SELECT *  FROM  dws.public.person;

4.3. 体验 MRS 集群 A 的 hive 同 DWS 集群 C 跨仓分析查询

在打开的 SQL Editor 中输入如下 SQL 语句可做 MRS 集群 A 的 hive 与 DWS 集群 C 的跨仓数据分析

SELECT h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age  FROM  hive.default.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id WHERE h1.price >30;

4.4 体验 MRS 集群 A 的 hbase 同 DWS 集群 C 跨仓分析查询

在打开的 SQL Editor 中输入如下 SQL 语句可做 MRS 集群 A 的 hbase 与 DWS 集群 C 的跨仓数据分析

SELECT  h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age FROM hbase.default.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id WHERE h1.price >50;

4.5 下结论

出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。HetuEngine 提供了统一标准 SQL 实现跨源协同分析，简化跨源分析操作；

五 体验 HetuEngine 跨湖分析能力

5.1 将 MRS 集群 A 的 HetuEngine 连接到 MRS 集群 B 的 HetuEngine 进行跨湖查询

在打开的 SQL Editor 中输入如下 SQL 语句可做 MRS 集群 B 中 HetuEngine 的 hive 跨湖查询

SELECT *  FROM  hetu1.hetu1_hive.sales;

5.2 体验 MRS 集群 B 的 HetuEngine 同 DWS 集群 C 跨湖分析查询

打开 SQL Editor 输入如下 SQL 语句可做 MRS 集群 B 中 HetuEngine 的 hive 同 DWS 集群 C 的跨湖查询

SELECT  h1.id,h1.price, h1.ops_region,h1.ops_user_id,d1.sex,d1.age   FROM  hetu1.hetu1_hive.sales h1 INNER JOIN dws.public.person d1 ON h1.ops_user_id=d1.ops_user_id;

5.3 结论

HetuEngine 提供统一标准 SQL 对分布于多个地域（或数据中心）的多种数据源实现高效访问，屏蔽数据在结构、存储及地域上的差异，实现数据与应用的解耦。

点击关注，第一时间了解华为云新鲜技术~