急急急！Kafka Topic 资源权限紧张怎么办？
我们都知道 Kafka 的 topic 资源比较“贵”，所以一般会给项目 topic 权限限制，按需申请。Milvus 会在建新表时自动申请 kafka topic 资源，这时候自动申请不到怎么办？手动配置 topic 要符合什么规范才能被 Milvus 使用？
通过本文的小实践，大家可以了解 Milvus 如何为 Kafka Topic 命名、使用 Topic 的机制，以及用户在 Kafka Topic 资源权限紧张情况下，对 Kafka Topic 的预设及使用。希望能给大家启发的同时增加对 Milvus 消息系统的了解。
Topic 在 Milvus 中的作用
Kafka 是一个分布式流处理系统，流处理系统使它可以像消息队列一样 publish 或者 subscribe 消息。Topic 用于建立 Producer 和 Consumer 之间的订阅关系。生产者发送消息到指定的 Topic，消息者从这个 Topic 下面消费消息（Kafka 把消息存在 topic 中，每一条消息包含 key、value、timestamp）。
在 Milvus 2.x 中，流式消息经过 Proxy 生产到 Kafka topic 中，再由 Data Node 节点消费到对象存储中。
参考链接：https://milvus.io/docs/data_processing.md
Milvus Kafka Topic 命名规则
命名规则
配置文件中的 chanNamePrefix：
Milvus 会创建三种类型的 Topic：
Datacoord-timetick-channel——chanNamePrefix.cluster-chanNamePrefix.dataCoordTimeTick
Dml channel--chanNamePrefix.cluster-chanNamePrefix.rootCoordDml
Delta channel--chanNamePrefix.cluster-chanNamePrefix.rootCoordDelta
机制
在启动 Milvus 集群时，会创建唯一的 dataCoordTimeTick：
by-dev-datacoord-timetick-channel。当创建一个新的 Collection 时，系统会创建对应的 rootCoordDml 和 rootCoordDelta 。由于一个表默认有 2 个 shard number ，共创建 22 共 4 个 topic（若 shard number 为 4 ，则创建 42 个 topic，以此类推），名称如下：
默认 rootCoord.dmlChannelNum 是 256（需要注意的是在新版本中我们调低了默认值），意思是最多创建 dml-channel topic 256 个，如果 collection 数量所需 topic 超过该值，则会对 topic 进行复用。所以我们可以通过控制 rootCoord.dmlChannelNum 来控制 topic 的复用。
Milvus Kafka Topic 预设方案
在了解了 Milvus 对 Topic 的命名和复用规则之后，我们可以按规则预设 Kafka Topic。
根据命名规则预设对应的 rootCoordDml 和 rootCoordDelta 相关 Topic。
修改
rootCoord.dmlChannelNum参数为 4，控制 dml-channel topic 的使用数量。在系统读取到预设 topic 时直接使用，不再重新申请。
（本文作者张翔系 Zilliz 客户工程师；曾杰系 Zilliz 主任工程师）
Data Infrastructure for AI Made Easy 2021-10-09 加入
还未添加个人简介
评论