[1.2.0 新功能系列: 二] Apache Doris 1.2.0 JDBC 外表及 Mutil Catalog

2022-12-14
陕西
本文字数：2557 字
阅读完需：约 8 分钟

JDBC 外表

JDBC External Table Of Doris 提供了 Doris 通过数据库访问的标准接口(JDBC)来访问外部表，外部表省去了繁琐的数据导入工作，也省去了之前 ODBC 繁杂的驱动安装部署及版本匹配问题，兼容性更好，操作更简单，让 Doris 可以具有了访问各式数据库的能力，并借助 Doris 本身的 OLAP 的能力来解决外部表的数据分析问题：

支持各种数据源接入 Doris
支持 Doris 与各种数据源中的表联合查询，进行更加复杂的分析操作

创建 JDBC Resource

Doris 目前支持的 JDBC 数据源有：MySQL，Oracle，PostgreSQL，SQLServer，Clickhouse

这里我们以 MySQL 为例来演示

CREATE EXTERNAL RESOURCE jdbc_resourceproperties (   "type"="jdbc",   "user"="root",   "password"="zhangfeng",   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",   "driver_url"="file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",   "driver_class"="com.mysql.cj.jdbc.Driver");

复制代码

这里 driver_url 可以使用本地路径和 http 路径两种方式，

注意：

如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包
http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地

http 方式示例如下：

CREATE EXTERNAL RESOURCE jdbc_resourceproperties (   "type"="jdbc",   "user"="root",   "password"="zhangfeng",   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",   "driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",   "driver_class"="com.mysql.cj.jdbc.Driver");

复制代码

创建 MySQL JDBC 外表

CREATE TABLE `order_analysis` ( `date`  varchar(20), `user_src` varchar(20) , `order_src` varchar(11) , `order_location` varchar(2), `new_order` int DEFAULT NULL, `payed_order` int DEFAULT NULL, `pending_order` int DEFAULT NULL, `cancel_order` int DEFAULT NULL, `reject_order` int DEFAULT NULL, `good_order` int DEFAULT NULL, `report_order` int DEFAULT NULL) ENGINE=JDBCPROPERTIES ("resource" = "jdbc_resource","table" = "order_analysis","table_type"="mysql");

复制代码

查询外表

这里我们使用 MySQL 来演示，其他的 JDBC 外表使用方式一样，具体请参靠官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/jdbc-of-doris

Mutil Catalog 访问 MySQL

多源数据目录（Multi-Catalog）是 Doris 1.2.0 版本中推出的功能，旨在能够更方便对接外部数据目录，以增强 Doris 的数据湖分析和联邦数据查询能力。

在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在 Database 或 Table 层级进行对接。比如通过 create external table 的方式创建一个外部数据目录中的表的映射，或通过 create external database 的方式映射一个外部数据目录中的 Database。如果外部数据目录中的 Database 或 Table 非常多，则需要用户手动进行一一映射，使用体验不佳。

而新的 Multi-Catalog 功能在原有的元数据层级上，新增一层 Catalog，构成 Catalog -> Database -> Table 的三层元数据层级。其中，Catalog 可以直接对应到外部数据目录。目前支持的外部数据目录包括：

Hive MetaStore：对接一个 Hive MetaStore，从而可以直接访问其中的 Hive、Iceberg、Hudi 等数据。
Elasticsearch：对接一个 ES 集群，并直接访问其中的表和分片。
JDBC: 对接数据库访问的标准接口(JDBC)来访问各式数据库的数据。（目前只支持访问 MYSQL）

JDBC Mutil Catalog

下面我们以 MySQL 为例演示 Mutil Catalog 使用

用于创建一个名为 jdbc 的 Catalog 连接指定的 MySQL

CREATE CATALOG jdbc PROPERTIES (   "type"="jdbc",   "jdbc.user"="root",   "jdbc.password"="zhangfeng",   "jdbc.jdbc_url" = "jdbc:mysql://localhost:3306/demo",   "jdbc.driver_url" = "file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",   "jdbc.driver_class" = "com.mysql.cj.jdbc.Driver");

复制代码

这里 jdbc.driver_url 可以使用本地路径和 http 路径两种方式，

注意：

如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包
http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地

http 方式示例如下：

CREATE CATALOG jdbc_resource properties (   "type"="jdbc",   "jdbc.user"="root",   "jdbc.password"="zhangfeng",   "jdbc.jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",   "jdbc.driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",   "jdbc.driver_class"="com.mysql.cj.jdbc.Driver");

复制代码

然后我们查看创建好的 Catalog 并切换到我们创建的 catalog 下

show catalogs;

复制代码

切换到我们创建好的 jdbc catalog

mysql> switch jdbc;Query OK, 0 rows affected (0.00 sec)

复制代码

查看 jdbc catalog 下的数据库

 show databases;

复制代码

切换数据库

mysql> use demo;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -A
Database changed

复制代码

查看数据库下的表

查看表结构

 desc order_analysis;

复制代码

查询表

select date,user_src,order_src from order_analysis limit 2;

复制代码

下面你就可以通过这个，创建 Doris 的 OLAP 表将 MySQL 的表通过下面这种方式导入到 Doris 表里

insert into <doris_table> select * from <mysql_table>

复制代码

你也可以很轻松的使用 JDBC Mutil Catalog 方式将 MySQL 表和 Doris 表进行关联分析，而不需要创建外表

我们来使用 jdbc mutil catalog 外表，使用 create table as select 方式创建一个 doris olap 表并将外表的数据导入到 doris 里

create table demo.order_analysis_3

复制代码

上面这个 sql 我们是通过 jdbc mutil catalog 外表的 jdbc.demo.order_analysis;

这里以 JDBC Mutil Catalog 方式演示了 Mutil Catalog 方式的使用，其他 Hive、Hudi、Iceberg 及 ES 使用方法一样，具体可以参照官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog

后面我们也将持续的将其他的 DB 融合到 Mutil Catalog 内，为用户提供更方便、更快捷的使用体验

发布于: 刚刚阅读数: 4

张家锋

关注

还未添加个人签名 2007-07-01 加入

还未添加个人简介

发布

暂无评论

创作场景

[1.2.0 新功能系列: 二] Apache Doris 1.2.0 JDBC 外表 及 Mutil Catalog

JDBC 外表

创建 JDBC Resource

Mutil Catalog 访问 MySQL

JDBC Mutil Catalog

张家锋

评论

[1.2.0 新功能系列: 二] Apache Doris 1.2.0 JDBC 外表及 Mutil Catalog