写点什么

kafka 也没那么难 --kafka 的安装与简单使用

  • 2022 年 5 月 12 日
  • 本文字数:1742 字

    阅读完需:约 6 分钟

安装算是比较简单的,可以直接用 wget 下载,也可以将安装包下载下来,上传到服务器上,都是一样的。


kafka 安装包网址:


http://mirror.bit.edu.cn/apache/kafka


我选择的版本 2.4.0:


wget http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz


下载 zookeeper ,这个暂时不用也可以,kafka 中自带了 zookeeper,暂时学习也可以直接用。


zookeeper 安装包网址:


http://mirror.bit.edu.cn/apache/zookeeper


我这里选择的是 3.5.6


http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6.tar.gz


将下载好了压缩包,解压就安装成功可以用了,可以直接运行的。


tar -zxvf apache-zookeeper-3.5.6.tar.gz


tar -zxvf kafka_2.13-2.4.0.tgz


这里需要说明的是,需要 jdk 环境,我直接装的 openjdk8,一样可以用。



[](()安装包文件


====================================================================


我们解压后的 kafka 进文件夹,如下目录。我们主要用到的就是 bin 和 config 这两个目录。



[](()bin 目录




bin 文件夹下都是一些执行的命令文件,我们暂时会用到图中圈出的这几个命令。具体用法后面再讲,先说说这几个分别干啥。



1 是消费者连接 topic 消费消息的命令。


2 是生产者连接 topic 推送消息的命令。


3 分别是启动和停止 kafka 服务的。


4 是操作 topic 的指令,比如查看 topic 列表或者删除 topic


5 分别是启动和停止 zookeeperd 服务,这里的 zookeeper 是 kafka 自带的。


[](()config 目录




我们再来看看 config 里面的文件。我们主要就用到 server.propertie 和 zookeeper.properties


[](()server.propertie

server.propertie 是启动 kafka 时加载的配置文件。点击去看看,基本要改的就是下面这两个地方。


每一个 broker 都需要一个标识符,使用 broker.id 来表示。它的默认值是 0,也可以被设置成任意其它整数。这个值在整个 kafka 集群里必须是唯一的。这个值可以任意选定。我这里设置的 broker.id=1



还有 kafka 默认启动服务的默认端口是 9092.如果我们想要修改的话,就需要在 server.propertie 中加上


port = 9093


当然改了这里,还得改其他对应配置文件的连接。这里是网上截图的。


[](()zookeeper.properties

zookeeper.connect 主要配置 zookeeper 的链接。如果我们在其他地方安装的 zookeeper ,就需要修改这里的配置了。



zookeeper.properties 文件是启动 kafka 自带的 zookeeper 时加载的配置。


里面的配置就比较少了,主要是



libs 文件夹是 kafka 运行依赖的 jar 包,我们可以不用管,logs 是 kafka 运行产生的日志,我们排查问题时用到,暂时也不用管。


[](()简单操作


========================================================== 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 =========


[](()zookeeper




我们按顺序来,因为 kafka 启动要依赖 zookeeper 服务。所以我们来看 zookeeper 的命令。

启动 zookeeper 服务

bin/zookeeper-server-start.sh ./config/zookeeper.properties

停止 zookeeper 服务

bin/zookeeper-server-stop.sh


[](()kafka 服务




启动好 zookeeper 后,我们来启动 kafka 服务。


bin/kafka-server-start.sh ./config/server.properties


关闭 kafka 服务命令


bin/kafka-server-stop.sh


[](()topic




启动好 kafka 服务后,我们就可以创建 topic 啦。创建 topic 的命令


bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1


这里可以看到创建 topic 的命令算是比较复杂的, --zookeeper localhost:2181 是指定 zookeeper 服务。-replication-factor 是指创建分区。


partitions 是创建备份。test1 是 topic 名称。


我们在创建一个 tpoic test2. 然后查看 topic 列表,需要指定 zookeeper 连接


bin/kafka-topics.sh --list --zookeeper localhost:2181



删除一个 topic,需要指定 zookeeper 和删除的 topic


bin/kafka-topics.sh --delete --topic quellanan --zookeeper localhost:2181



[](()producer




我们已经创建了 topic 。接下来我们可以让生产者推送消息到这个 topic 上。


bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1


–broker-list localhost:9092 连接上指定的 kafka 服务器。



[](()consumer




生产者生产了消息,接下来就需要消费者消费消息啦。

用户头像

还未添加个人签名 2022.04.13 加入

还未添加个人简介

评论

发布
暂无评论
kafka也没那么难--kafka的安装与简单使用_程序员_爱好编程进阶_InfoQ写作社区