写点什么

Kafka 常用命令总结,小白必看

作者:程序媛可鸥
  • 2022 年 3 月 21 日
  • 本文字数:1469 字

    阅读完需:约 5 分钟

同时,也欢迎关注我的微信公众号 AlwaysBeta,更多精彩内容等你来。



在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了 GroupCoordinator 这个角色,另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets)中。


本文测试版本:kafka_2.11-2.2.0


[](


)启动 Kafka




后台常驻方式,带上参数 -daemon,如:


/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties


指定 JMX port 端口启动,指定 jmx,可以方便监控 Kafka 集群


JMX_PORT=9991 /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties


[](


)停止 Kafka




/usr/local/kafka/bin/kafka-server-stop.sh


[](


)Topic



[](

)创建 Topic


参数 --topic 指定 Topic 名,--partitions 指定分区数,--replication-factor 指定备份数:


/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test


注意,如果配置文件 server.properties 指定了 Kafka 在 zookeeper 上的目录,则参数也要指定,否则会报无可用的 brokers(下面部分命令也有同样的情况),如:


/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic test

[](

)列出所有 Topic


/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

[](

)查看 Topic


/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

[](

)增加 Topic 的 partition 数


/usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 5

[](

)查看 topic 指定分区 offset 的最大值或最小值


time 为 -1 时表示最大值,为 -2 时表示最小值:


/usr/local/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --broker-list 127.0.0.1:9092 --partitions 0

[](

)删除 Topic


/usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --topic test --delete


[](


)生产消息




/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test


[](


)消费消息



[](

)


g.csdn.net/zyx6a/article/details/104080712)从头开始


/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

[](

)从尾部开始


从尾部开始取数据,必需要指定分区:


/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0

[](

)指定分区


(1)Python 所有方向的学习路线(新版)


这是我花了几天的时间去把 Python 所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。


最近我才对这些路线做了一下新的更新,知识体系更全面了。



(2)Python 学习视频


包含了 Python 入门、爬虫、数据分析和 web 开发的学习视频,总共 100 多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。



(3)100 多个练手项目


我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。



用户头像

Python编程资料加Q群免费领取:419829237 2022.03.14 加入

还未添加个人简介

评论

发布
暂无评论
Kafka 常用命令总结,小白必看_Python_程序媛可鸥_InfoQ写作平台