PiFlow 发布企业级分布式关系型数据库 OceanBase 组件
关于 PiFlow:PiFlow 是一个基于分布式计算框架技术开发的大数据流水线处理与调度系统。该系统将大数据采集、清洗、存储与分析进行抽象和组件化开发,以所见即所得、拖拽配置的方式实现大数据处理流程化配置、运行与智能监控。PiFlow 作为木兰开源社区孵化项目,吸引了大批中小企业、院所高校用户,支撑了科技、工业、跨境电商、数据资产管理、医疗健康等领域大量软件工程案例。
组件介绍
OceanBase 数据库是 100% 自主研发的原生分布式数据库软件,产品采用自研的一体化架构,兼顾分布式架构的扩展性与集中式架构的性能优势,用一套引擎同时支持 TP 和 AP 的混合负载,具有数据强一致、高可用、高性能、在线扩展、高度兼容 SQL 标准和主流关系数据库、对应用透明,高性价比等特点。
OceanBase 组件分为两个:OceanBaseRead 和 OceanBaseWrite,通过 jdbc 连接方式,从 OceanBase 读取和写入数据。
OceanBaseRead 组件使用
1、创建 PiFlow 流水线
2、配置流水线
参数说明:
driver:OceanBase 数据库连接驱动
url:OceanBase 数据库 ip、端口、database
user:OceanBase 数据库账号
password:OceanBase 数据库密码
sql:要执行的 sql 语句
3、运行流水线
点击流水线的运行按钮,即可从 OceanBase 数据库中读取数据
4、监控
5、查看日志
OceanBaseWrite 组件使用
1、创建 PiFlow 流水线
2、配置流水线
参数说明:
driver:OceanBase 数据库连接驱动
url:OceanBase 数据库 ip、端口、database
user:OceanBase 数据库账号
password:OceanBase 数据库密码
dbtable:要写入数据的表名
3、运行流水线
点击流水线的运行按钮,此流水线是从指定的 csv 路径中读取数据,写入到 OceanBase 数据库中。
4、监控
5、查看日志
本篇简单介绍了 PiFlow 中 OceanBase 组件的使用攻略,后续还将介绍其他新增组件的使用攻略。我们欢迎大家一起进行交流,并鼓励开发者开发我们尚未提供的组件,并将其贡献到 PiFlow 社区,一起推动社区的生态发展。
评论