写点什么

kafka

9 人感兴趣 · 72 次引用

  • 最新
  • 推荐

Java Kafka 简单示例

用户头像
1 月 10 日

    Java kafka 简单代码示例

Windows10 Kafka Docker 集群搭建

用户头像
1 月 10 日

    使用 Windows Docker Desktop 搭建 Kafka 集群

https://static001.geekbang.org/infoq/24/2405f26d4d3225032836d180b1600eee.jpeg?x-oss-process=image/resize,w_416,h_234

kill -9 导致 kafka 重启失败的惨痛经历!

用户头像
AI乔治1 月 8 日

在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader,

https://static001.geekbang.org/infoq/f5/f5004be3a6a9ed449f718668548b4eb6.png?x-oss-process=image/resize,w_416,h_234

ClickHouse 数据导入

用户头像
一粒2020 年 12 月 31 日

目前Kafka数据导入ClickHouse的常用方案有两种,一种是通过ClickHouse内置的Kafka表引擎实现,另一种是借助数据流组件,如Logstash。

刨根问底,kafka 到底会不会丢消息

用户头像
爱笑的架构师2020 年 12 月 25 日

大型互联网公司一般都会要求消息传递最大限度的不丢失,比如用户服务给代金券服务发送一个消息,如果消息丢失会造成用户未收到应得的代金券,最终用户会投诉。

https://static001.geekbang.org/infoq/75/75fadb8e655be76f2eaaad6d53322a1d.png?x-oss-process=image/resize,w_416,h_234

支持百万级 TPS,Kafka 是怎么做到的?

用户头像
爱笑的架构师2020 年 12 月 24 日

谈到大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用

https://static001.geekbang.org/infoq/74/74a4c57f2cf5fef91d624473d89eb79c.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 的控制器 controller 详解

用户头像
数据社2020 年 12 月 22 日

控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的职责

https://static001.geekbang.org/infoq/74/74a4c57f2cf5fef91d624473d89eb79c.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 实战宝典:Kafka 的控制器 controller 详解

用户头像
数据社2020 年 12 月 18 日

控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的职责

https://static001.geekbang.org/infoq/db/db0d5c585181d34330db12aaebafd1b8.png?x-oss-process=image/resize,w_416,h_234

Kafka 和 RocketMQ 之性能对比

从文件布局、文件写入机制、消息发送三个维度阐述Kafka与RocketMQ的性能实现差异的根本原因。

从零开始搭建 Kafka+SpringBoot 分布式消息系统

用户头像
小Q2020 年 12 月 3 日

由于kafka强依赖于zookeeper,所以需先搭建好zookeeper集群。由于zookeeper是由java编写的,需运行在jvm上,所以首先应具备java环境。(ps:默认您的centos系统可联网,本教程就不教配置ip什么的了)(ps2:没有wget的先装一下:yum install wget)(ps3:人

没想到我费劲心力学的 kafka,还不如阿里大佬整理的这份学习手册,真的是差距啊

用户头像
小Q2020 年 11 月 27 日

分布式,是程序员必备技能之一,在面试过程中属于必备类的,在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列,目前它的魅力是无穷的,对于Kafka的奥秘,还需要我们细细去探寻。

spring-boot-route(十四)整合 Kafka

用户头像
Java旅途2020 年 10 月 13 日

kafka简介及Spring Boot整合kafka

https://static001.geekbang.org/infoq/20/20d99fd6937cf58e45007719498f02e8.jpeg?x-oss-process=image/resize,w_416,h_234

Spring Cloud 微服务实践 (7) - 日志

用户头像
xiaoboey2020 年 10 月 9 日

记录日志是应用程序的一项基本能力,从开发测试到运维调优,以及数据安全和数据挖掘,都离不开日志的记录。本文尝试把日志相关的一些处理都梳理一下,从Spring Boot的日志框架,到Gateway的访问日志(Access Log),到基于AOP和Stream来记录业务操作日志。

《我想进大厂》之 MQ 夺命连环 11 问

用户头像
艾小仙2020 年 10 月 7 日

继之前的mysql夺命连环之后,我发现我这个标题被好多套用的,什么夺命zookeeper,夺命多线程一大堆,这一次,开始面试题系列MQ专题,消息队列作为日常常见的使用中间件,面试也是必问的点之一,一起来看看MQ的面试题。

一文了解 Zookeeper

用户头像
Java旅途2020 年 9 月 28 日

Zookeeper是Apache开源的一个分布式框架,它主要为分布式应用提供协调服务。

https://static001.geekbang.org/infoq/e1/e1b397bd436ee4f935132c377b07d937.jpeg?x-oss-process=image/resize,w_416,h_234

使用 Spring Cloud Stream 玩转 RabbitMQ,RocketMQ 和 Kafka

用户头像
Barry的异想世界2020 年 9 月 27 日

使用Spring Cloud的子组件Spring Cloud Stream,是一个构建消息驱动微服务的框架,提供一套消息订阅消费的标准为不同供应商的消息中间件进行集成

https://static001.geekbang.org/infoq/55/55f075b43ca386167387fd058942e2b8.png?x-oss-process=image/resize,w_416,h_234

揭秘开源项目 Apache Pulsar 如何挑战 Kafka

用户头像
Apache Pulsar2020 年 9 月 27 日

本文章是对 StreamNative 联合创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容。在本采访中,主要介绍了 Apache Pulsar 作为云原生流数据工具在消息处理领域的优势特性、与 Kafka 的一些对比概要以及 StreamNative 公司的介绍和发展方向。

https://static001.geekbang.org/infoq/85/85c28294ef87dc349487bee1d5802fc5.jpeg?x-oss-process=image/resize,w_416,h_234

一次压缩引发堆外内存过高的教训

用户头像
AI乔治2020 年 9 月 16 日

lz_rec_push_kafka_consume 该项目通过kafka与算法进行交互,通过push推荐平台(lz_rec_push_platform)预生成消息体。

消息队列之推还是拉,RocketMQ 和 Kafka 是如何做的?

用户头像
yes的练级攻略2020 年 8 月 29 日

也是一个面试热点,到底用推模式还是拉模式呢?

https://static001.geekbang.org/infoq/24/24f8e566aff54074e24555866f5cc1a6.png?x-oss-process=image/resize,w_416,h_234

Linux Page Cache 调优在 Kafka 中的应用

用户头像
vivo互联网技术2020 年 8 月 20 日

本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举之前针对Kafka的 IO 性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。

https://static001.geekbang.org/infoq/24/24a85a05f62e624e13652d16ca1c342a.png?x-oss-process=image/resize,w_416,h_234

Apache 顶级项目 Apache Pulsar 成长回顾

用户头像
Apache Pulsar2020 年 8 月 18 日

带你看下一代云原生分布式消息流平台 Apache Pulsar 的成长回顾!

知道时间轮算法吗?在 Netty 和 Kafka 中如何应用的?为什么不用 Timer、延时线程池?

用户头像
yes的练级攻略2020 年 8 月 15 日

剖析Timer 、DelayQueue、ScheduledThreadPool 原理,再对比时间轮的原理以及时间轮在Netty 和 Kafka中的应用

https://static001.geekbang.org/infoq/aa/aa7f625ce79bbc82a1316650f57c4c13.jpeg?x-oss-process=image/resize,w_416,h_234

终于知道 Kafka 为什么这么快了!

用户头像
海星2020 年 8 月 14 日

无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,下面我们就聊聊 Kafka 快的原因。

https://static001.geekbang.org/infoq/0e/0e143510d39d191c51245b4052fe6267.webp?x-oss-process=image/resize,w_416,h_234

致力打造下一代云原生分布式消息系统,StreamNative 完成源码资本数百万美元 Pre-A 轮融资,红杉中国种子基金跟投

用户头像
Apache Pulsar2020 年 8 月 12 日

Apache 顶级项目 Pulsar 背后的开源流数据公司 StreamNative 宣布完成数百万美元 Pre-A 轮融资,本轮融资由源码资本领投。StreamNative 在创立初期即获得红杉中国种子基金天使轮投资,在本次 Pre-A 轮红杉中国种子基金继续跟投。

Kafka 实战宝典:一文带解决 Kafka 常见故障处理

用户头像
数据社2020 年 8 月 12 日

Kafka的bin目录下shell脚本是kafka自带的管理工具,提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力,Kafka运维者可以使用这些工具进行集群的管理。

Kafka 实战宝典:如何跨机房传输数据

用户头像
数据社2020 年 8 月 12 日

工作中遇到Kafka跨机房传输到远程机房的场景,之前的方案是使用Flume消费后转发到目标kafka,当topic增多并且数据量变大后,维护性较差且Flume较耗费资源。

kafka_kafka资料文章-InfoQ写作平台