写点什么

Last Week in Milvus

作者:Zilliz
  • 2023-07-10
    北京
  • 本文字数:920 字

    阅读完需:约 3 分钟

What's New

Zilliz Cloud 将于明日上线,届时国内使用阿里云的用户,可以前去试用。PaaS 版本的 Milvus 也会在近期上线。

Core Updates

#24516 从 2.3.0 及 2.2.11 开始,Milvus 支持默认 search 参数

#24839 用户可以通过配置指定 querynode 的任务调度类型,默认情况下使用 fifo 策略调度任务,用户可以通过修改配置 querynode.scheduleReadPolicy.name 切换调度策略。目前支持 fifo 和 user-task-polling 两种,fifo 是先进先出队列,user-task-polling 会先按照用户名分组再在组内按照队列执行,在多用户、多租户场景中使用 user-task-polling 策略对用户更加友好。

#25212 加载数据改为小批加载。不少用户在生产环境中遇到 Milvus 加载数据时需要很大额外的内存开销,甚至是需要加载数据的 3 倍。经过不断地优化,先是减少内存中数据的序列化、反序列化,再引入 mmap 支持磁盘作为临时内存,这次优化彻底将内存优化完成,只需 MB 级别的额外内存就可以将数据加载完毕,极大的减少了资源开销。

#25389 支持 varchar 作为主键时,使用主键索引。优化后在 varchar 作为主键的场景中,性能有 10x 的提升。

Knowhere

#953 优化 device manager 使用,在有多个线程访问 GPU 的场景中,能够显著降低内存使用,提升效率。

Birwatcher

#163 增加 remove segment-orphan 命令,用于清理 collection 已经被 drop 的 segment,回收存储空间。

New contributor

Welcome charlspjohn

Good First Issue

https://github.com/milvus-io/milvus/issues/25430 为 Go 版本的 chunk manager 增加 mmap 支持,减少内存 copy

https://github.com/milvus-io/milvus/issues/25162 为 JSON array 增加交集、并集、差集函数

What's Up Next

2.2.12 预计会在本周发布。

Did you know

这有一篇详细介绍 HNSW 算法的文章,对索引算法感兴趣的同学可以参考。

https://zilliz.com/blog/hierarchical-navigable-small-worlds-HNSW

🌟全托管 Milvus SaaS/PaaS 即将上线,由 Zilliz 原厂打造!覆盖阿里云、百度智能云、腾讯云、金山云。目前已支持申请试用,企业用户 PoC 申请或其他商务合作请联系 business@zilliz.com。


  • 如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。

  • 欢迎关注微信公众号“Zilliz”,了解最新资讯。

用户头像

Zilliz

关注

Data Infrastructure for AI Made Easy 2021-10-09 加入

还未添加个人简介

评论

发布
暂无评论
Last Week in Milvus_云服务_Zilliz_InfoQ写作社区