写点什么

kafka

16 人感兴趣 · 113 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/8c/8cbc758f11b92aeafb7e9ddbaff05ffb.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 的再平衡机制

所谓的再平衡,指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡:

https://static001.geekbang.org/infoq/4c/4c4f2e4fdaf60109374892b8003e0b96.png?x-oss-process=image/resize,w_416,h_234

Kafka 又出问题了!

用户头像
冰河4 月 3 日

估计运维年前没有祭拜服务器,Nginx的问题修复了,Kafka又不行了。今天,本来想再睡会,结果,电话又响了。还是运营,“喂,冰河,到公司了吗?赶紧看看服务器吧,又出问题了“。“在路上了,运维那哥们儿还没上班吗”? “还在休假。。。”, 我:“。。。”

https://static001.geekbang.org/infoq/ea/ea9e05d4e185a9568169b6f9c676509d.jpeg?x-oss-process=image/resize,w_416,h_234

Elasticsearch 结合 MySQL 的两种架构模式对比

用户头像
读字节3 月 31 日

MySQL作为数据库的核心能力范围就是在线业务的事务处理和查询访问。因此无论单体应用也好,微服务也好,都会以多连接请求的形式,将业务数据写入MySQL;作为专业的Elasticsearch,往往在整个过程中,扮演着从MySQL复制数据、建立索引、提供搜索的角色。这是最

https://static001.geekbang.org/infoq/4e/4e359e569990586e0b9ea616bbd97745.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka、RabbitMQ、RocketMQ 之间的区别是什么 ?

用户头像
AI乔治3 月 29 日

作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的

一招让 Kafka 达到最佳吞吐量

用户头像
Kevin Wan3 月 17 日

使用 chunkExecutor 作用不言而喻:将随机写 -> 批量写,减少 I/O 消耗;同时保证单次写入不能超过默认的 1M 或者自己设定的最大写入字节数。

面试官问:Kafka 为何有如此高的吞吐量和性能

用户头像
面试官问3 月 14 日

面试官问:简历中写到曾经使用 Kafka 作为消息中间件,我们知道,Kafka 是将数据保存到磁盘中的,那么它为何还能够具备如此高的吞吐量和性能呢?

https://static001.geekbang.org/infoq/79/79120a9406da2c8d1ef2d118fb123da9.jpeg?x-oss-process=image/resize,w_416,h_234

四款面向高并发、海量级分布式存储的分布式架构对比

用户头像
读字节3 月 14 日

这篇文章主要是介绍了分布式中redis cluster去中心化管理,kafka与rocketmq中心化管理的架构特点,顺便提了一些oceanbase的架构特色。

盘点一下我用 kafka 两年以来踩过的一些非比寻常的坑

用户头像
周老师3 月 11 日

我的上家公司是做餐饮系统的,每天中午和晚上用餐高峰期,系统的并发量不容小觑。为了保险起见,公司规定各部门都要在吃饭的时间轮流值班,防止出现线上问题时能够及时处理。

https://static001.geekbang.org/infoq/f6/f6101a73e349be75e6eb13aa17b79b15.png?x-oss-process=image/resize,w_416,h_234

译文 | 深度剖析 Pulsar Functions

用户头像
Apache Pulsar2 月 28 日

深入解析Apache Pulsar 消息系统的核心计算基础结构Pulsar Functions,干货多!

https://static001.geekbang.org/infoq/c2/c2d2f458063000122038760fc1ede24f.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 中所谓的 ‘零拷贝’ 技术到底是什么?

用户头像
码农架构2 月 26 日

除了消息顺序追加、页缓存等技术,Kafka 还使用零拷贝技术来进一步提升性能。所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中,而不需要经由应用程序之手。零拷贝大大提高了应用程序的性能,减少了内核和用户模式之间的上下文切换。对 Linux 操作系统

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.07 - 性能优化介绍

用户头像
insight2 月 25 日

本文介绍了 Kafka 为了提高读写性能做的三样优化:以消息集为单位进行操作、零拷贝、数据压缩。

Kafka 是怎么存储的?为什么速度那么快?

用户头像
码农架构2 月 24 日

Kafka 依赖于文件系统(更底层地来说就是磁盘)来存储和缓存消息。在我们的印象中,对于各个存储介质的速度认知大体同下图所示的相同,层级越高代表速度越快。很显然,磁盘处于一个比较尴尬的位置,这不禁让我们怀疑 Kafka 采用这种持久化形式能否提供有竞争

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.06 - 数据持久化介绍

用户头像
insight2 月 24 日

本文介绍了 Kafka 是如何通过磁盘来完成大数据量的读写操作的。

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.04 - Kafka 部署

用户头像
insight2 月 22 日

本文讲述了如何启动 Kafka 和如何搭建一个多个 Broker 的集群。

https://static001.geekbang.org/infoq/f4/f4750edbc89855514dc0f0e7e0374817.jpeg?x-oss-process=image/resize,w_416,h_234

用形象比喻理解大数据技术 Hadoop、NoSQL、Spark

用户头像
读字节2 月 22 日

大数据技术平台就是一个生态圈,生态里面的各类技术让人眼花缭乱,即便是资深工程师也需要学习跟实践很多年才有一些积累,非专业的人去看当然晕了!因此我们需要把这么一大堆的内容分解开,找出关键的部分,用形象比喻的方式,更容易得让广大初学者从整体架构

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.03 - Message 介绍

用户头像
insight2 月 21 日

消息是 Kafka 的基本单位,本文介绍了消息的组成以及如何实现读、删、写的操作。

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.02 - Topic 介绍

用户头像
insight2 月 20 日

本文介绍了 Topic 的相关概念和主从同步。

https://static001.geekbang.org/infoq/1d/1d05089a2cd65ff80d3ef1456c3799a6.jpeg?x-oss-process=image/resize,w_416,h_234

消息队列 Kafka:入门基础

用户头像
正向成长2 月 16 日

Kafka环境搭建参考Kafka官网的Quick Start进行实践,首先下载Kafka,并进行解压:

https://static001.geekbang.org/infoq/e9/e9f02161966b5d98e89c0854f6fefa32.png?x-oss-process=image/resize,w_416,h_234

Kafka 设计实现与最佳实践之客户端篇

用户头像
梦朝思夕2 月 8 日

介绍以Golang的client为例,介绍Kafka的客户端机制

https://static001.geekbang.org/infoq/aa/aa2ae5bd4d34f14d87c3fede95f61f2b.png?x-oss-process=image/resize,w_416,h_234

kafka 的实现原理

用户头像
八两2 月 7 日

Kafka是分布式发布订阅消息系统。它最初由LinkedIn公司采用Scala语言编写,之后成为Apache项目的一部分。Kafka定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用(如Storm、Spark、Flink)。

VoltDB 让 Kafka 支持复杂数据流驱动的实时业务决策

用户头像
VoltDB2 月 7 日

VoltDB是一个高速决策引擎,为必须在数毫秒内做出响应的应用程序提供基础架构支持,适用场景包括BSS(策略和收费)、预防欺诈、客户价值管理(即个性化)和实时工业自动化等等,那些通过实时决策可以增加收入或减少损失的场景。

Kafka 生产者哪些重要的参数是我们需要注意的?

用户头像
码农架构2 月 5 日

在 KafkaProducer 中大部分的参数都有合理的默认值,一般不需要修改它们。不过了解这些参数可以让我们更合理地使用生产者客户端,其中还有一些重要的参数涉及程序的可用性和性能,如果能够熟练掌握它们,也可以让我们在编写相关的程序时能够更好地进行性能调

Kafka 在哪些场景下会造成重复消费或消息丢失?

用户头像
码农架构2 月 5 日

kafka消费者在消费的时候对于位移提交的具体时机的把握也很有讲究,有可能会造成重复消费和消息丢失的现象。

Kafka 消费者提交消费位移时提交的是当前消费到的最新消息的 offset 还是 offset+1?

用户头像
码农架构2 月 5 日

对于 Kafka 中的分区而言,它的每条消息都有唯一的 offset,用来表示消息在分区中对应的位置。对于消费者而言,它也有一个 offset 的概念,消费者使用 offset 来表示消费到分区中某个消息所在的位置。

Kafka 发送消息过程中拦截器的用途?

用户头像
码农架构2 月 5 日

消息在通过 send() 方法发往 broker 的过程中,有可能需要经过拦截、序列化器 和 分区器 的一系列作用之后才能被真正地发往 broker。

https://static001.geekbang.org/infoq/46/46c05878bc62bcba6b6d3bd736159dd8.jpeg?x-oss-process=image/resize,w_416,h_234

Elasticsearch+Fluentd+Kafka 搭建日志系统

用户头像
LanLiang2 月 4 日

由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kafka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程.

kafka_kafka资料文章-InfoQ写作平台