写点什么

Kafk

0 人感兴趣 · 24 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/08/08c99bc9115b4dcda7f5871868757a50.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

何时使用 Kafka 而不是 RabbitMQ

Kafka 和 RabbitMQ 都是流行的开源消息系统,它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点,它们适用于不同的场景和需求。本文将比较 Kafka 和 RabbitMQ 的主要区别,并分析何时使用 Kafka 而不是 RabbitMQ。

https://static001.geekbang.org/infoq/fb/fbf7491d8cc5c9daefc5d5aa61b1cf01.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何用 Know Streaming 来查询 Kafka 的消息

Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。

https://static001.geekbang.org/infoq/ab/ab1e08cc582d23b82e8d26cb6b7f7687.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

这家公司的码农有多牛,用 C++ 重写 Kafka,还能与其 API 兼容

用户头像
雨果
2022-11-17

国外公司Redpanda实现了对 Kafka 的 C++ 重写,而且提供与Kafka API的100%兼容性。

https://static001.geekbang.org/infoq/0f/0f4be64b2760d52da68cd3c9b51ce0a9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kafka 消费者客户端心跳请求

发起心跳请求 在Consumer客户端启动的时候,就会构建心跳监测线程HeartbeatThread并启动, 心跳监测线程名:kafka-coordinator-heartbeat-thread|group.id 例如:kafka-coordinator-heartbeat-thread | consumer0

https://static001.geekbang.org/infoq/6c/6cb8028e72f7cb4d620084e5e3de18ff.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kafka 消费组 / 者协调器的介绍

什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略,又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。

https://static001.geekbang.org/infoq/42/4231f288a62e16240045633af8010149.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kafka 监控与指标之 UnderReplicatedPartitions

Kafka监控 Kafka 使用 Yammer Metrics 在服务器中报告指标,Java 客户端使用 Kafka Metrics,这是一个内置的指标注册表. 两者都通过 JMX 公开指标

https://static001.geekbang.org/infoq/1f/1f8585acc46d5a2bd90df6a67ca82bb1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Kafka 的客户端 NetworkClient 如何发起的请求

前面我们有讲解Kafka的网络通信模型 , 但是那篇文章主要讲的是 作为服务端是如何处理的。 那么,今天我们再来讲一讲 客户端是如何发起请求的。 带着几个问题思考一下

https://static001.geekbang.org/infoq/2b/2ba1e8a9e7acd4bb0c9403cffc55e9c9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

【kafka 问题】记一次 kafka 消费者未接收到消息问题

出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了: A的消息是否发送了? 如果A的消息发送成功了; B为何没有消费到? 好,带着上面的问题,我们来一步步排查一下问题所在

https://static001.geekbang.org/infoq/f9/f99b693a516e8201e9ddf23020fda3ed.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

多图详解 kafka 生产者消息发送过程

KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。例如 :分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程

【kafka 异常】使用 Spring-kafka 遇到的坑

CORRUPT_MESSAGE 这个错误一般是压缩策略为cleanup.policy=compact的情况下,key不能为空

字节架构师:来说说 Kafka 的消费者客户端详解,你都搞懂了吗?

用户头像
Java快了!
2022-09-12

前面讲解了 Kafka 的生产者,而与生产对应的就是消费者,程序中可以通过 KafkaConsumer 来订阅主题,并从订阅的主题中拉取消息。而 Kafka 中消费者比生产者多了个组的概念,也称消费者组,从而提升单机的消费速度。本文将介绍下消费者与消费者组的概念,然后

如何使用 TDengine Sink Connector?

用户头像
TDengine
2022-07-27

文档中的教程使用 Confluent 平台(集成了 Kafka)演示了如何使用 Source Connector 和 Sink Connector,但是很多开发者在生产环境中并没有使用 Confluent,所以为方便大家,本文将使用独立部署的 Kafka 来演示。

https://static001.geekbang.org/infoq/01/010b44ef92fb4a30c914c804674e283e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kafka 集群搭建

用户头像
阿呆
2022-05-20

kafka集群搭建

教你 3 种 Kafka 的指定副本作为 Leader 的实现方式

因为在我们实际的运维过程中,需要指定某个副本为ISR,但是Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。

滴滴 Logi-KafkaManager

滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家

https://static001.geekbang.org/infoq/0c/0cb8c11d4abe5819b81f50cc714d8c87.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

去哪儿网数据同步平台技术演进与实践

本文将与大家详细探讨 Qunar 的数据同步平台 ES 多版本迁移支持、数据同步平台高可用和数据一致性的设计与实践,希望对大家能够有所帮助或启发。

https://static001.geekbang.org/infoq/02/02f788515b52489969408d880d3198d7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

数据同步系统重构实践

数据同步系统做的就是将数据从一个数据源导入另外一个数据源,提供同构或者异构、低延迟的的数据的同步,提供高可用的数据同步服务,并且保证数据最终一致性。 这篇文章分享了去哪儿网的经验,希望可以给大家做数据同步提供一些启示。

https://static001.geekbang.org/infoq/30/30becbb33cabf5fe340a9479fb1f3014.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

kafka 日志写入 logstash

用户头像
Rubble
2021-08-05

Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中

https://static001.geekbang.org/infoq/4a/4a91683c10117fbe7e0c28bd305e6e11.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

结构化流 -Structured Streaming(八 - 中)

用户头像
数据与智能
2021-07-22

写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。

https://static001.geekbang.org/infoq/92/92fdbe2df60696d9383f06856874742e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

通俗易懂 !Kafka 开发快速入门看这篇就够了

用户头像
云祁
2021-06-26

有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。

充值卡业务接口的幂等设计 (附伪代码)

用户头像
林一
2021-05-25

​kafka重试、接口幂等、on duplicate key update

Kafk_Kafk技术文章_InfoQ写作社区