Kafk
0 人感兴趣 · 24 次引用
- 最新
- 推荐
何时使用 Kafka 而不是 RabbitMQ
Kafka 和 RabbitMQ 都是流行的开源消息系统,它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点,它们适用于不同的场景和需求。本文将比较 Kafka 和 RabbitMQ 的主要区别,并分析何时使用 Kafka 而不是 RabbitMQ。
如何用 Know Streaming 来查询 Kafka 的消息
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。
这家公司的码农有多牛,用 C++ 重写 Kafka,还能与其 API 兼容
国外公司Redpanda实现了对 Kafka 的 C++ 重写,而且提供与Kafka API的100%兼容性。
Kafka 消费者客户端心跳请求
发起心跳请求 在Consumer客户端启动的时候,就会构建心跳监测线程HeartbeatThread并启动, 心跳监测线程名:kafka-coordinator-heartbeat-thread|group.id 例如:kafka-coordinator-heartbeat-thread | consumer0
Kafka 消费组 / 者协调器的介绍
什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略,又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。
Kafka 监控与指标之 UnderReplicatedPartitions
Kafka监控 Kafka 使用 Yammer Metrics 在服务器中报告指标,Java 客户端使用 Kafka Metrics,这是一个内置的指标注册表. 两者都通过 JMX 公开指标
Kafka 的客户端 NetworkClient 如何发起的请求
前面我们有讲解Kafka的网络通信模型 , 但是那篇文章主要讲的是 作为服务端是如何处理的。 那么,今天我们再来讲一讲 客户端是如何发起请求的。 带着几个问题思考一下
【kafka 问题】记一次 kafka 消费者未接收到消息问题
出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了: A的消息是否发送了? 如果A的消息发送成功了; B为何没有消费到? 好,带着上面的问题,我们来一步步排查一下问题所在
多图详解 kafka 生产者消息发送过程
KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。例如 :分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程
【kafka 异常】使用 Spring-kafka 遇到的坑
CORRUPT_MESSAGE 这个错误一般是压缩策略为cleanup.policy=compact的情况下,key不能为空
字节架构师:来说说 Kafka 的消费者客户端详解,你都搞懂了吗?
前面讲解了 Kafka 的生产者,而与生产对应的就是消费者,程序中可以通过 KafkaConsumer 来订阅主题,并从订阅的主题中拉取消息。而 Kafka 中消费者比生产者多了个组的概念,也称消费者组,从而提升单机的消费速度。本文将介绍下消费者与消费者组的概念,然后
如何使用 TDengine Sink Connector?
文档中的教程使用 Confluent 平台(集成了 Kafka)演示了如何使用 Source Connector 和 Sink Connector,但是很多开发者在生产环境中并没有使用 Confluent,所以为方便大家,本文将使用独立部署的 Kafka 来演示。
滴滴 Logi-KafkaManager
滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家
kafka 日志写入 logstash
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中
结构化流 -Structured Streaming(八 - 中)
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
【kafka 实战】分区重分配可能出现的问题和排查问题思路 (生产环境实战, 干货!!! 非常干!!! 建议收藏)
生产环境实战问题排查+解决方案+ 排查思路