Last Week in Milvus

What's New

Milvus 社区开通了 Discord 交流频道 https://discord.com/invite/8uyFbECzPX

Core Updates

#28720 #28803 #28692 #28470 Milvus 社区正在对 delete 和 compaction 逻辑进行一系列优化，会像其他 WAL 架构的数据库一样，使用一层 Level 0 segment 存储删除记录，此优化后会使得整体的写入逻辑更清晰，compaction 架构上更简洁，详细设计见 https://github.com/milvus-io/milvus/issues/27675

#28272 Bulk Insert 支持 Array 类型，补齐了批量导入的能力

#28622 segment 动态平衡策略中加入了 growing segment 行数，Milvus 的 segment 分为 growing 和 sealed 两类，在此之前的平衡策略中，只考虑了 sealed segment，对于导入数据过程中的 collection 绝大部分数据都是在 growing segment 中，会导致数据极度倾斜，加入 growing segment 行数后能大大缓解此问题。

#28319 为 Milvus 增加 access log 功能，运维用户可以通过 access log 做业务用户行为分析、故障分析等，详细的配置详见 https://github.com/milvus-io/milvus/issues/28086

#28608 Bulk insert 支持导入 parquet 格式。parquet 是数据、AI 领域非常常见的格式，支持 parquet 后用户将 Milvus 和现有的数据系统集成会更容易。

#28878 很多用户反馈升级到 2.3.x 后在旧 cpu 机型上 Milvus 无法启动，经过排查发现是 Milvus 使用的依赖 folly 库编译参数导致，此 PR 修复了该问题

Knowhere

#219 在 topk 很大时，将 hnsw 索引查询退化成暴力搜索，以提升性能#221 修复 hnsw M==1 时会 crash 的问题#233 修复 arm neon 指令集下 hamming 距离计算问题#238 为 diskann 索引支持 mmap

Backup

#246 支持本地文件系统

Birdwatcher

#222 新增命令 collection-meta-leaked，清理已经被删除的 collection#220 支持删除不存在的 key#224 为 verify-segment 命令增加 fix 参数，修复 segment 元数据

New Contributor

Welcome junjiejiangjjj

What's Up Next

发布 2.3.4 版本

Did you know

Milvus 支持内存多副本功能，用于高可用、扩展性强的场景，具体的介绍详见 https://milvus.io/docs/replica.md