写点什么

面试官:kafka 分布式消息系统,你真的了解吗?

  • 2023-03-24
    湖南
  • 本文字数:2323 字

    阅读完需:约 8 分钟

什么是 Kafka

Kafka 是 Apache 软件基金会开发的一个基于发布/订阅模式的分布式可靠性消息系统,用于处理实时和流数据。Kafka 可以将数据实时地从一个系统移动到另一个系统,它可以支持从一个终端到另一个终端的数据流,并可以支持离线处理和批量处理。Kafka 是一个分布式可靠性消息系统,允许客户端应用程序消费并处理数据流。


Kafka 是一种强大的消息队列,提供了高效可靠的消息传输,可以支持大量的消息/秒流量,并且可以轻松地扩展到更多的节点。Kafka 的安装和部署简单,可以在多种环境中运行,可以支持多个节点,可以用于实时分析,实时处理,网络拓扑建模,消息路由等。

一、Kafka 的基本功能

  • 生产者/消费者:提供一个可靠的消息传递服务,允许客户端应用程序在 Kafka 集群上发布和消费消息。

  • Streams:允许在 Kafka 集群上处理和转换数据流。

  • Connectors:允许将 Kafka 集群连接到外部系统,以便在 Kafka 集群和外部系统之间进行数据流传输。 Kafka 是由 Scala 和 Java 编写的,可以运行在 POSIX 兼容的操作系统(Linux,Unix,Mac OS X 等)上。

二、Kafka 基本架构

Kafka 有三个主要的组件,分别是 Producer(生产者),Consumer(消费者)和 Broker(中间件)。

  • Producer:Producer 是一个应用程序,用于将消息发布到 Kafka 集群中的一个或多个主题(topics)中

  • Consumer:Consumer 是一个应用程序,用于从 Kafka 集群中的一个或多个主题(topics)中消费消息。

  • Broker:Broker 是一个 Kafka 集群的实例,可以用来接收,存储和转发来自 Producer 的消息,并将消息分发给 Consumer。


Kafka 提供了一个简单而可靠的消息传输服务,可用于从一个系统将数据实时传输到另一个系统。

三、Kafka 的实现方法

Kafka 的实现方法主要基于两个核心概念:发布/订阅模式和分区。

1. 发布/订阅模式

Kafka 通过发布/订阅模式来实现消息传递。Producer 将消息发布到 Kafka 集群中的一个或多个主题(topics)中,Consumer 从主题中订阅消息。

2.分区

Kafka 支持将消息分为多个分区,每个分区可以存储消息。Kafka 可以将消息分发到多个分区中,以便支持消息的实时传输和批量处理。

四、Kafka 的优势和劣势

Kafka 相比于其他消息队列有着一定的优势和劣势:

优势

  • 可靠性:Kafka 提供了一个可靠的消息传递服务,可以实现高吞吐量和低延迟的消息传输。

  • 可扩展性:Kafka 可以支持大量的消费者,可以通过添加新的分区来扩展 Kafka 集群的容量。

  • 高性能:Kafka 可以支持大量的消费者,可以实现高吞吐量和低延迟的消息传输。

劣势

  • 复杂性:Kafka 的设计复杂,需要一定的技术知识才能正确安装和配置。Kafka 的部署非常复杂,它需要一个良好的网络基础设施,还需要一个稳定的服务器架构。

  • 延迟:Kafka 的消息传输延迟可能较大,尤其是当消息量大时。

Kafka 的部署方法

Kafka 的部署可以通过安装 Kafka 服务器和客户端应用程序来实现。

  1. 安装 Kafka 服务器 Kafka 服务器可以通过下载 Kafka 安装程序安装,也可以通过 Docker 容器来安装。

  2. 安装客户端应用程序 Kafka 客户端应用程序需要下载 Kafka 客户端库,然后使用它们编写 Kafka 应用程序。Kafka 支持多种语言,包括 Java,Scala,Python,Go,C#和 C ++等语言。

Kafka 的应用

Kafka 可以用于将数据从一个系统实时传输到另一个系统,可用于实时数据处理,批量处理,日志追踪和监控等应用场景。

实时数据处理

Kafka 可以用于实时处理流式数据,可以将数据从一个系统流式传输到另一个系统,并将数据处理为各种形式,如统计,聚合,报表等。

批量处理

Kafka 支持将消息分发到多个分区,可以将消息存储在多个分区中,以便支持批量处理。

日志追踪

Kafka 可以用于追踪系统中的事件日志,可以将日志实时地发布到 Kafka 集群,以便支持日志的实时跟踪和分析。

监控

Kafka 可以用于监控系统中的指标,可以将指标实时地发布到 Kafka 集群,以便支持指标的实时监控和分析。

Kafka 使用案例

使用 Kafka 实现实时数据处理


以下示例代码演示了如何使用 Kafka 实现实时数据处理。

消费者

// 创建Kafka消费者 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test"); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer"); Consumer<String, String> consumer = new KafkaConsumer<String, String>(props); // 订阅主题 consumer.subscribe(Arrays.asList("my-topic")); // 消费消息 while (true) {     ConsumerRecords<String, String> records = consumer.poll(100);     for (ConsumerRecord<String, String> record : records) {         System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());         } } // 关闭Kafka消费者 consumer.close(); 
复制代码

生产者

// 创建Kafka生产者 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<String, String>(props); // 发布消息到Kafka集群 for (int i = 0; i < 10; i++) {     String msg = "Message " + i;     producer.send(new ProducerRecord<String, String>("my-topic", msg)); } // 关闭Kafka生产者 producer.close(); 
复制代码

作者:DaveCui

链接:https://juejin.cn/post/7205928315587493946

来源:稀土掘金

用户头像

还未添加个人签名 2021-07-28 加入

公众号:该用户快成仙了

评论

发布
暂无评论
面试官:kafka分布式消息系统,你真的了解吗?_Java_做梦都在改BUG_InfoQ写作社区