Kafka 多维度调优

(1)堆内存参数设置：kafka本身并不占用过多堆内存，6-8G相对合适，在kafka-server-start.sh设置KAFKA_HEAP_OPTS参数即可；更精确可以查看KafkaServer-gc.log，关注Full GC之后堆上存活大小的总量，从而可以将堆内存设置为这个值的2-2.5倍，可以使用图上命令进行手动GC (2)GC选择器：博主kafka3.5.1版本的kafka集群使用openjdk11.0.X，默认G1收集器；在G1中Full GC是单线程运行，在生产环境中要尽量避免Full GC (3)JDK选择：至少JDK1.8，推荐JDK11，kafka3.0推荐至少使用JDK11

(1)版本适配：尽量保持客户端版本和Broker端版本一致或尽量适配，以避免版本之间不一致问题导致的性能优化损失，如零拷贝等特性 (2)消息压缩方式：Broker端和Producer段的消息压缩方式应该保持一致，推荐lz4，第二选择gzip，如果设置得不一致会导致Broker付出大量额外的CPU性能用于解压和二次压缩 (3)num.io.thread：Handler线程用于执行业务处理，Acceptor线程用于接收网络请求，Processor线程用于建立网络连接和分发网络请求，Handler线程才是执行业务请求处理的线程，由Broker参数num.io.thread决定，数量越大执行线程越多，处理速度更快 (4)num.recovery.threads.per.data.dir：Broker重启后恢复线程数量，设置越大，追上数据进入ISR越快 (5)num.network.thread：The number of threads that the server uses for receiving requests from the network and sending responses to the network，增加这个线程参数就是提高收发网络请求的速度 (6)log.retention.bytes：日志保存时间，针对业务需求合理设置时间 (7)message.max.bytes：针对消息集合打包的大消息体业务，需要设置更大的参数 (8)num.replica.fetchers：副本数据同步线程，应当不超过cpu核数，通常设置为4-8即可

(1)消息发送确认机制：acks=all，通常情况下在生产环境设置为acks=1即Leader副本确认即可 (2)批量发送消息大小：batch.size= 发送到同一个分区消息的批次大小限制 (3)发送最大时延：linger.ms=,批量大小没有达到batch.size,最大允许时延

(1)消息提交机制：如为保证消息不重复消费即手动提交消息 (2)消息数据批量大小：fetch.min.bytes，如果时延不敏感追求吞吐量，可设置得大一点

(1)保证业务代码健壮性，保证容器不会出现过多bug导致反复重启诱发Kafka集群Rebalance(2)不要频繁创建Producer和Consumer，建立的连接要Close；(3)合理创建线程池进行连接复用(4)合理利用多线程进行推送，消费消息