深入浅出 Apache Pulsar（5）Pulsar Connectors

作者：云智慧AIOps社区

2022 年 1 月 25 日
本文字数：1405 字
阅读完需：约 5 分钟

Pulsar Connectors

消息处理(Processing guarantee)

at-most-once
at-least-once
effectively-once

操作流程(JDBC sink)

Add a configuration file.
Create a schema.
Upload a schema to a topic.
Create a JDBC sink
Stop a JDBC sink
Restart a JDBC sink
Update a JDBC sink

内建连接器(Built-in connector)

Source connector

Canal
File
Flume
Kafka
RabbitMQ

Sink connector

ElasticSearch/Solr
Flume
HBase
HDFS2/HDFS3
InfluxDB
JDBC ClickHouse/MariaDB/PostgreSQL
Kafka
MongoDB
RabbitMQ
Redis

ClickHouse Sink

创建表

CREATE DATABASE IF NOT EXISTS monitor;CREATE TABLE IF NOT EXISTS monitor.pulsar_clickhouse_jdbc_sink(    id   UInt32,    name String) ENGINE = TinyLog;INSERT INTO monitor.pulsar_clickhouse_jdbc_sink (id, name)VALUES (1, 'tmp');SELECT *FROM monitor.pulsar_clickhouse_jdbc_sink;

复制代码

创建配置

$ vi $PULSAR_HOME/connectors/pulsar-clickhouse-jdbc-sink.yaml{    "userName": "sysop",    "password": "123456",    "jdbcUrl": "jdbc:clickhouse://server-101:8123/monitor",    "tableName": "pulsar_clickhouse_jdbc_sink"}

复制代码

创建 schema

$ vi $PULSAR_HOME/connectors/json-schema.json{  "name": "",  "schema": {    "type": "record",    "name": "SeedEvent",    "namespace": "com.cloudwise.quickstart.model",    "fields": [      {        "name": "id",        "type": [          "null",          "int"        ]      },      {        "name": "name",        "type": [          "null",          "string"        ]      }    ]  },  "type": "JSON",  "properties": {    "__alwaysAllowNull": "true",    "__jsr310ConversionEnabled": "false"  }}

复制代码

上传 schema

$ $PULSAR_HOME/bin/pulsar-admin schemas upload \pulsar-postgres-jdbc-sink-topic \-f $PULSAR_HOME/connectors/json-schema.json

复制代码

运行

$ $PULSAR_HOME/bin/pulsar-admin sinks create \--tenant public \--namespace default \--name pulsar-clickhouse-jdbc-sink \--inputs pulsar-clickhouse-jdbc-sink-topic \--sink-config-file $PULSAR_HOME/connectors/pulsar-clickhouse-jdbc-sink.yaml \--archive $PULSAR_HOME/connectors/pulsar-io-jdbc-clickhouse-2.6.2.nar \--processing-guarantees EFFECTIVELY_ONCE \--parallelism 1

复制代码

更多福利

云智慧已开源集轻量级、聚合型、智能运维为一体的综合运维管理平台 OMP（Operation Management Platform），具备纳管、部署、监控、巡检、自愈、备份、恢复等功能，可为用户提供便捷的运维能力和业务管理，在提高运维人员等工作效率的同时，极大提升了业务的连续性和安全性。点击下方地址链接，欢迎大家给 OMP 点赞送 star，了解更多相关内容～

GitHub 地址：https://github.com/CloudWise-OpenSource/OMP

Gitee 地址：https://gitee.com/CloudWise/OMP

微信扫描识别下方二维码，备注【OMP】加入 AIOps 社区运维管理平台 OMP 开发者交流群，与更多行业大佬一起交流学习～