Last Week in Milvus

What's New

全力冲刺 2.3.0 发布中

Core Updates

#25417 HNSW 索引支持 binary vector。在此之前 HNSW 索引只支持 float vector，这次更新让 HNSW 索引能够支持 binary vector 以及其配套的 metric

#25351 改进了 upsert 操作的限流逻辑。upsert 接口背后会执行 delete 和 insert 两个原子操作，其限流逻辑也就复用了 delete 和 insert 的限流行为，但是经过测试发现这会给限流逻辑带来很大的误导，经过讨论我们决定为 upsert 提供单独的限流逻辑。

#25538 Milvus 支持 pulsar、kafka 以及 rocksdb 作为消息队列的中间件，kafka 使用的是 confluent 官方的 go 客户端，其中内核使用的是 librdkafka 这个 c++ 库，在之上使用 CGO 为 go 提供接口，confluent 官方包中为多个平台提供了默认的 librdkafka 静态库，但是并不是所有平台都兼容。经过讨论 Milvus 中将 librdkafka 改为动态链接库，在每个平台单独编译，解决各个平台的兼容性问题。

#25260 标量过滤的性能一直是社区使用的痛点，我们一直在使用 SIMD 技术加速过滤性能。由于 SIMD 在不同的指令集下要使用不同的编译参数这会导致 Milvus 的版本急速膨胀进而无法维护，在此 pr 中我们使用动态判断 SIMD 技术，在同一个二进制文件中动态支持不同的 SIMD 指令集 CPU。

Knowhere

#987 优化 MacOS neon 指令集。

Birwatcher

#164 新增了 DiskANN 索引的 probe 命令

#165 新增了 describe index 命令，可以查看 index 构建进度

Storage

Milvus-storage repo https://github.com/milvus-io/milvus-storage 是 Milvus 新一代存储引擎的内核，将会在 2.4.0 版本中成为 Milvus 的默认存储引擎。升级后 Milvus 将会更高性能、更开放等存储格式，方便对接当下流行的数据湖技术，将会成为开放的向量数据湖。项目还在早期阶段，期待更多的同学参与其中。

Good First Issue

https://github.com/milvus-io/milvus/issues/25553 支持更复杂的取模表达式

What's Up Next

2.2.12 预计会在本周发布。

Did you know

如何将 Milvus 与 LangChain 做集成，可以参考以下几篇文章:

https://milvus.io/docs/integrate_with_langchain.md https://zilliz.com.cn/blog/LangChain-Milvus-Zilliz https://zilliz.com.cn/blog/langchain-gptcache-nlp

🌟「寻找 AIGC 时代的 CVP 实践之星」 专题活动即将启动！

Zilliz 将联合国内头部大模型厂商一同甄选应用场景， 由双方提供向量数据库与大模型顶级技术专家为用户赋能，一同打磨应用，提升落地效果，赋能业务本身。

如果你的应用也适合 CVP 框架，且正为应用落地和实际效果发愁，可直接申请参与活动，获得最专业的帮助和指导！联系邮箱为 business@zilliz.com。

• 如果在使用 Milvus 或 Zilliz 产品有任何问题，可添加小助手微信 “zilliz-tech” 加入交流群。

• 欢迎关注微信公众号“Zilliz”，了解最新资讯。