写点什么

Druid 使用 Kafka 数据加载教程——下载和启动 Kafka

用户头像
HoneyMoose
关注
发布于: 3 小时前

本教程演示了如何使用 Druid 的 Kafka 索引服务将数据从 Kafka 流加载到 Apache Druid 中。

假设你已经完成了 快速开始 页面中的内容或者下面页面中有关的内容,并且你的 Druid 实例已使用 micro-quickstart 配置在你的本地的计算机上运行了。到目前,你还不需要加载任何数据。

 


下载和启动 Kafka

Apache Kafka 是一个高吞吐量消息总线,可与 Druid 很好地配合使用。在本指南中,我们将使用 Kafka 2.1.0 版本。下载 Kafka 后,在你的控制终端上运行下面的命令:

curl -O https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgztar -xzf kafka_2.12-2.1.0.tgzcd kafka_2.12-2.1.0
复制代码

如果你需要启动 Kafka broker,你需要通过控制台运行下面的命令:

./bin/kafka-server-start.sh config/server.properties
复制代码

使用下面的命令在 Kafka 中创建一个称为 wikipedia 的主题,这个主题就是你需要将消息数据发送到的主题:

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wikipedia
复制代码

需要注意的是,我们假设你的 Kafka 和 Druid 的 ZooKeeper 使用的是同一套 ZK。

 

https://www.ossez.com/t/druid-kafka-kafka/13653

用户头像

HoneyMoose

关注

还未添加个人签名 2021.03.06 加入

还未添加个人简介

评论

发布
暂无评论
Druid 使用 Kafka 数据加载教程——下载和启动 Kafka