“考公”有捷径?Milvus 助力粉笔教育构建个性化考公 RAG
粉笔教育是中国知名的职业教育培训机构,自 2015 年成立以来,专注于提供高品质的非学历职业教育服务。粉笔教育利用互联网技术创新教育模式,实现线上线下教学资源整合,并在公务员考试培训等多个领域拓展服务。全国多城市分校为学员提供优质服务,累计服务超过 4200 万用户。粉笔教育以高水平教学质量和创新技术,如申论智能批改系统,推动教育普惠和公平,荣获多项国家技术专利。
从 Milvus 单机版开始
在 2021 年,由于业务需求,粉笔教育开始进行向量数据库的选型。“当时的版本还是 1.x 单机版,随着时间的推移,Milvus 在粉笔教育的业务线中得到了越来越广泛的应用,我们也把 Milvus 升级到了 2.x 集群版”,粉笔教育算法团队负责人吕红亮介绍到。
Milvus 核心使用场景
为了满足用户多样化的需求,粉笔教育一直坚持科技创新。从 2021 年到 2024 年,随着 AI 技术的发展及应用,粉笔教育也在创新职教行业,以缩短用户的学习链路。
图搜召回
在粉笔教育的应用中,向量搜索召回技术被广泛应用于多个基础功能场景:如大学搜题的拍照搜题涉及到的向量召回推荐,在粉笔公考中,搜索页面的文字搜索、图推题目,使用 Milvus 作为关键词召回之外的向量召回、推荐中基于双塔模型的向量召回,允许用户通过上传题目的图片来快速搜索题目和答案,为用户提供了便捷的搜题体验。
RAG 应用
随着大模型时代的到来,粉笔教育推出了基于 RAG 技术(Retrieval-Augmented Generation)的“AI 老师”功能,而 Milvus 作为底层支持,为这一业务提供了强大的基础设施。
粉笔 AI 老师依托于粉笔教育多年积累的丰富教学数据,结合 Milvus 支持的 RAG 技术,能够提供更深入、准确、有价值的答案。在言语理解、资料分析、常识判断、逻辑推理和数量关系等多个方面,粉笔 AI 老师的表现均优于市面上的主流通用教育大模型产品。通过这些功能,粉笔 AI 老师能够全面覆盖学员的学习流程,提供包括个性化学习规划、学习成果检测、答疑解惑、报考辅导在内的全流程个性化和智能化的专业陪伴。
今年,粉笔教育还推出了 AI 公文写作功能,其中 Milvus 同样发挥了重要作用。
Milvus 带来的业务价值
便捷的部署和使用:Milvus 的部署和使用过程简单方便,减轻了用户的运维负担。吕红亮介绍到:“之前也使用过 Vearch、Annoy,自己也动手搭建过搜索功能,但是需要做很多周边的应用开发。而 Milvus 更加方便,减少了复杂的配置和调整工作。”
支持大规模数据:Milvus 能够支持较大规模的数据量,对于需要自行部署的系统来说,这一点尤为重要,因为它能够确保系统性能不会因数据量增加而下降。
高性能、低成本:Milvus 提供了快速的检索速度,满足了对性能的要求。同时,相比于其他云厂商提供的方案,写入速度和 QPS 也会有限制。同时,云厂商的方案要针对存储、内存进行收费,而且部分功能升级单独收费,因此成本也不可控;
不断迭代的功能
算法团队工程化专家张家明说到:“Milvus 社区一直以来都发展的比较好,我们在使用当中遇到的一些问题或者是不支持的需求,可能在后续的版本都会解决或者作为新特性推出,免除了很多我们自己去二次开发和维护的工作。”
如 Milvus 2.4 版本就引入了多向量字段的功能,而在最新发布的 Milvus 2.5 版本里则引用了更多的特性:
内置全文搜索:集成了 Sparse-BM25,无需预先生成向量嵌入即可实现强大的文本处理功能。从而实现语义搜索与关键字搜索相结合的混合搜索以提升搜索精准性。
增强文本过滤:新的文本匹配功能利用 Tantivy 的分析器进行精确的自然语言匹配,适合与向量相似性搜索相结合。
位图索引:引入了新的索引系统,以加速对低基数字段的过滤,提高了过滤搜索的查询性能
...
提到为什么会选择 Milvus,吕红亮介绍到,Milvus 已经得到了其他用户的验证,证明了其方法和方向的可行性。由于粉笔教育与猿辅导之间的紧密关系,双方的团队曾进行了深入交流。猿辅导的团队基于他们的使用经验,推荐了 Milvus,认为其在向量检索方面的表现和效果都相当出色,因此粉笔教育采纳了这一建议,并开始实施 Milvus 方案,“我们没有足够的时间和精力去试错,必须尽早避坑。”
版权声明: 本文为 InfoQ 作者【Zilliz】的原创文章。
原文链接:【http://xie.infoq.cn/article/d21a8015d956c589d1e7ead3a】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论