写点什么

kafka

23 人感兴趣 · 127 次引用

  • 最新
  • 推荐

Reactive Spring 实战 -- 响应式 Kafka 交互

用户头像
binecy16 小时前

本文分享如何使用KRaft部署Kafka集群,以及Spring中如何实现Kafka响应式交互。

https://static001.geekbang.org/infoq/73/7334f19c1da7ffd3a450b4618ca53e9b.png?x-oss-process=image/resize,w_416,h_234

面试惨败 MQ?献上消息中间件解析合集:MQ+Kafka,助你吊打面试官!

前些日子有好多朋友都去投岗面试准备跳槽,面完回来跟我说碰到消息中间件一类的问题就挂了。额,有点不知所措,于是乎小编就想着做一次消息中间件的专题,归类整理了MQ(ActiveMQ/RabbitMQ/RocketMQ)+Kafka 等的纯手绘知识体系图、面试以及相关的学习笔记。

https://static001.geekbang.org/infoq/16/1637b6eb0ef99e9545cdd218db44c086.png?x-oss-process=image/resize,w_416,h_234

一问 Kafka 就心慌?我却凭着这份《Kafka 源码实战》碾压面试官!

Kafka是一个高度可扩展的消息系统,它在LinkedIn的中央数据库管理中扮演着十分重要的角色,因其可水平扩展和高吞吐率而被广泛使用,现在已经被多家不同类型的公司作为多种类型的数据管道和消息系统。

https://static001.geekbang.org/infoq/8b/8b38b08b8294665fc8936053bed2a235.png?x-oss-process=image/resize,w_416,h_234

面试官最爱问的 Kafka,基础 + 进阶 + 高级,44 问疯狂轰炸!

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

https://static001.geekbang.org/infoq/ed/ed718ea7e07d3207ffc9bba2031796b2.png?x-oss-process=image/resize,w_416,h_234

kafka 基本概念

用户头像
杨四正5 月 19 日

Apache Kafka 是一种分布式消息系统,由Scala语言编写而成。

Kafka 万亿级消息实战

本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天  甚至更高后,我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。

https://static001.geekbang.org/infoq/c2/c2d2f458063000122038760fc1ede24f.jpeg?x-oss-process=image/resize,w_416,h_234

消息队列的两种模式

消息队列包括两种模式,点对点模式(point to point, queue)和发布/订阅模式(publish/subscribe,topic)

分布式消息中间件(2):Kafka 系统学习—集群搭建与使用、副本机制和实时日志统计流程

用户头像
北游学Java4 月 26 日

这个系列主要是讲解关于分布式消息中间件的一些心得 关于分布式系统、中间件是什么、消息中间件能做什么、分布式消息中间件长什么样诸如此类基础概念在上一篇文章——分布式消息中间件(1):Rabbitmq入门到高可用实战!都已经讲过

https://static001.geekbang.org/infoq/60/60749354fa283bd3a210154fcd68c02f.png?x-oss-process=image/resize,w_416,h_234

kafka 可视化工具 _6 个重要维度 | 帮你快速了解这 9 款免费 etl 调度工具的应用

用户头像
会飞的鱼4 月 26 日

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数

https://static001.geekbang.org/infoq/3e/3e05285bf9201f086ae8f517b02b1796.png?x-oss-process=image/resize,w_416,h_234

Kafka 源码阅读笔记(1)

用户头像
InfoQ_Springup4 月 16 日

Kafka源码阅读笔记

https://static001.geekbang.org/infoq/c8/c815a45f5f54f20269145aaa3a99f1bd.jpeg?x-oss-process=image/resize,w_416,h_234

微服务中台技术解析之项目环境隔离

用户头像
小江4 月 13 日

项目环境隔离是在研发迭代中是一项非常重要的功能,如何将常用组件串联起完整的项目调用链路也是比较有挑战的工作。本文介绍了在项目开发中涉及的dubbo项目环境隔离,网关项目环境隔离,kafka项目环境隔离,并介绍了以项目标签为核心的的设计方案。

https://static001.geekbang.org/infoq/c2/c2d2f458063000122038760fc1ede24f.jpeg?x-oss-process=image/resize,w_416,h_234

消息队列(如 Kafka 等)的应用场景

应用耦合:多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败;

https://static001.geekbang.org/infoq/8c/8cbc758f11b92aeafb7e9ddbaff05ffb.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 的再平衡机制

所谓的再平衡,指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡:

https://static001.geekbang.org/infoq/4c/4c4f2e4fdaf60109374892b8003e0b96.png?x-oss-process=image/resize,w_416,h_234

Kafka 又出问题了!

用户头像
冰河4 月 3 日

估计运维年前没有祭拜服务器,Nginx的问题修复了,Kafka又不行了。今天,本来想再睡会,结果,电话又响了。还是运营,“喂,冰河,到公司了吗?赶紧看看服务器吧,又出问题了“。“在路上了,运维那哥们儿还没上班吗”? “还在休假。。。”, 我:“。。。”

https://static001.geekbang.org/infoq/ea/ea9e05d4e185a9568169b6f9c676509d.jpeg?x-oss-process=image/resize,w_416,h_234

Elasticsearch 结合 MySQL 的两种架构模式对比

用户头像
读字节3 月 31 日

MySQL作为数据库的核心能力范围就是在线业务的事务处理和查询访问。因此无论单体应用也好,微服务也好,都会以多连接请求的形式,将业务数据写入MySQL;作为专业的Elasticsearch,往往在整个过程中,扮演着从MySQL复制数据、建立索引、提供搜索的角色。这是最

https://static001.geekbang.org/infoq/4e/4e359e569990586e0b9ea616bbd97745.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka、RabbitMQ、RocketMQ 之间的区别是什么 ?

用户头像
AI乔治3 月 29 日

作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的

一招让 Kafka 达到最佳吞吐量

用户头像
万俊峰Kevin3 月 17 日

使用 chunkExecutor 作用不言而喻:将随机写 -> 批量写,减少 I/O 消耗;同时保证单次写入不能超过默认的 1M 或者自己设定的最大写入字节数。

面试官问:Kafka 为何有如此高的吞吐量和性能

用户头像
面试官问3 月 14 日

面试官问:简历中写到曾经使用 Kafka 作为消息中间件,我们知道,Kafka 是将数据保存到磁盘中的,那么它为何还能够具备如此高的吞吐量和性能呢?

https://static001.geekbang.org/infoq/79/79120a9406da2c8d1ef2d118fb123da9.jpeg?x-oss-process=image/resize,w_416,h_234

四款面向高并发、海量级分布式存储的分布式架构对比

用户头像
读字节3 月 14 日

这篇文章主要是介绍了分布式中redis cluster去中心化管理,kafka与rocketmq中心化管理的架构特点,顺便提了一些oceanbase的架构特色。

盘点一下我用 kafka 两年以来踩过的一些非比寻常的坑

用户头像
周老师3 月 11 日

我的上家公司是做餐饮系统的,每天中午和晚上用餐高峰期,系统的并发量不容小觑。为了保险起见,公司规定各部门都要在吃饭的时间轮流值班,防止出现线上问题时能够及时处理。

https://static001.geekbang.org/infoq/f6/f6101a73e349be75e6eb13aa17b79b15.png?x-oss-process=image/resize,w_416,h_234

译文 | 深度剖析 Pulsar Functions

用户头像
Apache Pulsar2 月 28 日

深入解析Apache Pulsar 消息系统的核心计算基础结构Pulsar Functions,干货多!

https://static001.geekbang.org/infoq/c2/c2d2f458063000122038760fc1ede24f.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 中所谓的 ‘零拷贝’ 技术到底是什么?

用户头像
码农架构2 月 26 日

除了消息顺序追加、页缓存等技术,Kafka 还使用零拷贝技术来进一步提升性能。所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中,而不需要经由应用程序之手。零拷贝大大提高了应用程序的性能,减少了内核和用户模式之间的上下文切换。对 Linux 操作系统

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.07 - 性能优化介绍

用户头像
insight2 月 25 日

本文介绍了 Kafka 为了提高读写性能做的三样优化:以消息集为单位进行操作、零拷贝、数据压缩。

Kafka 是怎么存储的?为什么速度那么快?

用户头像
码农架构2 月 24 日

Kafka 依赖于文件系统(更底层地来说就是磁盘)来存储和缓存消息。在我们的印象中,对于各个存储介质的速度认知大体同下图所示的相同,层级越高代表速度越快。很显然,磁盘处于一个比较尴尬的位置,这不禁让我们怀疑 Kafka 采用这种持久化形式能否提供有竞争

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.06 - 数据持久化介绍

用户头像
insight2 月 24 日

本文介绍了 Kafka 是如何通过磁盘来完成大数据量的读写操作的。

https://static001.geekbang.org/infoq/e6/e6c837cd54935b442608c971add7644c.png?x-oss-process=image/resize,w_416,h_234

Kafka.04 - Kafka 部署

用户头像
insight2 月 22 日

本文讲述了如何启动 Kafka 和如何搭建一个多个 Broker 的集群。

kafka_kafka资料文章-InfoQ写作平台