写点什么

Flink 实践教程:入门(12):元数据的使用

  • 2023-08-07
    广东
  • 本文字数:1328 字

    阅读完需:约 4 分钟

Flink 实践教程:入门(12):元数据的使用

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

教程视频:链接

本示例使用 Oceanus 平台的 元数据管理 功能,通过库表引用将作业中生成的随机数据存入到 MySQL 中。再通过对变量的管理完成变量的引用

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3],点击左上角【新建】创建实例,进入实例数据库,创建表。

创建包含 库表引用 的 Oceanus 作业

进入 Oceanus 控制台 [1],进入自己的【工作空间】,点击左侧【作业管理】,创建 SQL 作业,切换到【开发调试】,在左侧的【库表引用】界面操作元数据。在【库表引用】功能界面中,选择右上角的新建 > 数据库,在弹窗中选择 Catalog,输入库名,然后单击下一步,进入【基本信息】这里点击下一步,进入【DDL 编辑】将数据库创建语句输入之后点击【完成】。

--元数据管理创建语句CREATE TABLE `metadata_sink` (`id` INT,`name` STRING) WITH ('connector' = 'jdbc','url' = 'jdbc:mysql://127.0.0.1:3306/testmate','table-name' = 'source_table_test','username' = 'username','password' = 'password');
复制代码

在 SQL 作业中可以直接引用元数据表,将光标移动到想要引用的元表上面,右侧会显示【操作】菜单,单击【引用】,元数据表使用三段式引用,例如`dc`.`db`.`test_table`。

--sql作业模版CREATE TABLE datagen_source_table (id INT, name STRING) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' -- 每秒产生的数据条数);INSERT INTO`_dc`.`testdb`.`metadata_sink`SELECT *FROMdatagen_source_table;
复制代码

创建包含 变量管理 的 Oceanus 作业

在【变量管理】功能界面中,选择【新建】,在弹窗中输入变量名称变量值以及变量描述,创建了一个名为"tableName"值为"source_table"的变量



使用【库表引用】进入【DDL 编辑】创建新的表并使用变量

--元数据管理创建语句CREATE TABLE `mate_source_table_pre` (`id` INT,`name` STRING) WITH ('connector' = 'jdbc','url' = 'jdbc:mysql://172.0.0.1:3306/testmate','table-name' = '${table-name}:source_table_test1',  --格式:${变量名称}:默认值'username' = 'username','password' = 'password');
复制代码

在【表变量替换】中使用定义的变量,如下图:  



点击提交,然后保存作业就可以使用了

总结

Oceanus 元数据是用户在流计算作业中引用的库表。用户可以在元数据中管理已有的库表,可使用模板、自定义、云资源。如果选择自定义或者云资源,则需输入相应的连接信息。在 SQL 作业开发中快速引用元数据。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview  

[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298  

[3] MySQL 控制台:https://console.cloud.tencent.com/cdb  

用户头像

还未添加个人签名 2020-06-19 加入

欢迎关注,邀您一起探索数据的无限潜能!

评论

发布
暂无评论
Flink 实践教程:入门(12):元数据的使用_流计算 Oceanus_腾讯云大数据_InfoQ写作社区