Last Week in Milvus
What's New
Zilliz Cloud 将于明日上线,届时国内使用阿里云的用户,可以前去试用。PaaS 版本的 Milvus 也会在近期上线。
Core Updates
#24516 从 2.3.0 及 2.2.11 开始,Milvus 支持默认 search 参数
#24839 用户可以通过配置指定 querynode 的任务调度类型,默认情况下使用 fifo 策略调度任务,用户可以通过修改配置 querynode.scheduleReadPolicy.name 切换调度策略。目前支持 fifo 和 user-task-polling 两种,fifo 是先进先出队列,user-task-polling 会先按照用户名分组再在组内按照队列执行,在多用户、多租户场景中使用 user-task-polling 策略对用户更加友好。
#25212 加载数据改为小批加载。不少用户在生产环境中遇到 Milvus 加载数据时需要很大额外的内存开销,甚至是需要加载数据的 3 倍。经过不断地优化,先是减少内存中数据的序列化、反序列化,再引入 mmap 支持磁盘作为临时内存,这次优化彻底将内存优化完成,只需 MB 级别的额外内存就可以将数据加载完毕,极大的减少了资源开销。
#25389 支持 varchar 作为主键时,使用主键索引。优化后在 varchar 作为主键的场景中,性能有 10x 的提升。
Knowhere
#953 优化 device manager 使用,在有多个线程访问 GPU 的场景中,能够显著降低内存使用,提升效率。
Birwatcher
#163 增加 remove segment-orphan 命令,用于清理 collection 已经被 drop 的 segment,回收存储空间。
New contributor
Welcome charlspjohn
Good First Issue
https://github.com/milvus-io/milvus/issues/25430 为 Go 版本的 chunk manager 增加 mmap 支持,减少内存 copy
https://github.com/milvus-io/milvus/issues/25162 为 JSON array 增加交集、并集、差集函数
What's Up Next
2.2.12 预计会在本周发布。
Did you know
这有一篇详细介绍 HNSW 算法的文章,对索引算法感兴趣的同学可以参考。
https://zilliz.com/blog/hierarchical-navigable-small-worlds-HNSW
🌟全托管 Milvus SaaS/PaaS 即将上线,由 Zilliz 原厂打造!覆盖阿里云、百度智能云、腾讯云、金山云。目前已支持申请试用,企业用户 PoC 申请或其他商务合作请联系 business@zilliz.com。
如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。
欢迎关注微信公众号“Zilliz”,了解最新资讯。
评论