kafka
57 人感兴趣 · 329 次引用
- 最新
- 推荐
分布式流处理组件 - 理论篇：Broker
Broker是指Kafka集群中的一个节点，负责处理客户端请求、同时也处理客户端发送数据的存储与复制。
原来 kafka 也有事务啊，再也不担心消息不一致了
现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Exactly-Once精确一次消息投递。这该如何实现呢？
原来 kafka 也有事务啊，再也不担心消息不一致了
现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Exactly-Once精确一次消息投递。这该如何实现呢？
面试官问：kafka 为什么如此之快？
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大
面试官问：kafka 为什么如此之快？
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大
kafka 消费者那些事儿
消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎
kafka 消费者那些事儿
消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎
Kafka 实时数据即席查询应用与实践
Kafka中的实时数据是以Topic的概念进行分类存储，而Topic的数据是有一定时效性的，比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。
kafka 生产者你不得不知的那些事儿
kafka生产者作为消息发送中很重要的一环，这里面可是大有文章，你知道生产者消息发送的流程吗？知道消息是如何发往哪个分区的吗？如何保证生产者消息的可靠性吗？如何保证消息发送的顺序吗？如果对于这些问题还比较模糊的话，那么很有必要看看这篇文章了，本
如何借助 Kafka 持久化存储 K8S 事件数据？
大家应该对 Kubernetes Events 并不陌生，特别是当你使用 kubectl describe 命令或 Event API 资源来了解集群中的故障时。
用好 kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。
8 张图带你全面了解 kafka 的核心机制
kafka是目前企业中很常用的消息队列产品，可以用于削峰、解耦、异步通信。特别是在大数据领域中应用尤为广泛，主要得益于它的高吞吐量、低延迟，在我们公司的解决方案中也有用到。既然kafka在企业中如此重要，那么本文就通过几张图带大家全面认识一下kafka，
浅谈 Kafka2.8+ 在 Windows 下的搭建与使用
周末空闲时间无意找到了一套个性化推荐的源码，整体项目运用了SSH，HDFS，Flume，Hive，Kafka，Spark，Scala等。运行时，本来通过spark计算业务埋点数据时，却发现本地没有Kafka。因为我一直也没使用过Kafka，所以也作为新人，浅谈以下Kafka的环境安装
一周吃透 Java 面试八股文（2023 最新整理）
程序员作为一个自带“高薪多金”标签的职业，收入要高于市场的平均薪资，即便是在2023年,程序员的薪资依然保持居高不下。
来这公司一年碰到的问题比我过去 10 年都多
无意间发现我们 Kafka 管理平台的服务的 open files 和 CPU 监控异常，如下图，有一台机器 CPU 和 opfen files 指标持续在高位，尤其是 open files 达到了4w+。
Kafkaide 让 IDEA 开发者不在游走
IDEA开发者在与Kafka进行交互的过程中，经常操作Shell命令或通过CMAK、Eagle等管理工具来辅助开发者完成与Kafka交互的开发任务。让我们看看这两种方式的操作流程。
