Zilliz @ GOTC：大模型的记忆体——向量数据库的现在与未来

近日，2023 全球开源技术峰会（Global Open-source Technology Conference，以下简称 GOTC 2023 ） 在上海张江科学会堂召开，Zilliz 创始人兼首席执行官星爵、Zilliz 合伙人兼技术总监栾小凡以及 Zilliz 开发者关系及市场运营负责人李晨受邀参会。

GOTC 2023 由上海浦东软件园、开放原子开源基金会、 Linux 基金会亚太区和开源中国联合发起，以行业展览、主题发言、专题论坛、开源市集多种形式呈现， 主题为 Open source，into the future，在本次主题的框架之下，开源、AIGC、供应链安全等话题成为大会讨论的重点。

其中，引人侧目的是主论坛关于 AIGC 主题的讨论。2023 年，ChatGPT 的发展引发 AI 领域关于 AIGC 技术的讨论。在腾讯开源联盟主席、OpenCloudOS 社区秘书长单致豪的主持下，LF AI & Data 基金会执行董事、PyTorch 基金会执行董事 Ibrahim Haddad，Zilliz 创始人兼首席执行官星爵，NVIDIA 工程和解决方案高级总监赖俊杰，Untiy 中国技术副总裁左瑞文探讨了 AIGC 技术如何重塑互联网领域和全球社会。

星爵表示：“以 ChatGPT 为代表的大模型仍处于发展过程中，‘知识储备’十分有限，经常出现‘AI 幻觉’，加上大模型的训练成本高昂，使得大模型的应用受到诸多限制。向量数据库作为大模型的记忆体，不仅能够为其提供数据存储，而且能通过数据检索的方式让大模型进行知识增强。在向量数据库的加持下，大模型将变得博闻强识、成本可控。”

｜Zilliz 创始人兼首席执行官星爵

在随后关于开源话题的探讨中，星爵感慨颇深：从大教堂模式到集市模式，开源以它那海纳百川般的创新精神感染着每一位开发者，也为开源项目赋予了持久的生命力和力量，Zilliz 的第一个开源项目 Milvus 也不例外。从在 GitHub 上将第一行代码开源到成长为全球领先的向量数据库，从一个开源项目发展成拥有成千家企业级用户体量的产品，Milvus 受益良多，而这一切都源自开源。

开源的力量自不必说，这股星星之火烧到了大模型时代，星爵认为，未来一定会出现越来越多的开源模型，尤其是垂直领域的小模型。当下，ChatGPT 的通用大模型是超级计算机，而大家手中常用的工具是 PC 笔记本、手机等，未来可能同时需要十几个模型配合工作，这时候小模型的优势就会凸显出来。再配合垂直领域训练的加持，小模型在资源配置方面会变得更加高效。因此，开源大模型与开源小模型并存将是常态。

在次日的“数据与数据库技术”论坛中，栾小凡则带来了名为《大模型构建的 AI 原生数据库 Milvus》的主题演讲。

｜Zilliz 合伙人、技术总监栾小凡

栾小凡提到，当下“AI 幻觉”是大模型的主要痛点之一，由于信息密度不足，大模型经常会生成一些无意义或不可信的内容。在此情况下，有三种方案可以解决这一问题：微调模型、控制 prompt、构建知识库。

微调模型是大概三五年前比较流行的处理方式，一来需要足够多的数据对微调进行支撑，二来对算力要求较高，整体较难实现。控制 prompt 是通过 prompt 对内容的选择和长度加以限制，不过这同时也会限制信息量，最终仍无法得到理想的结果。知识库是为大模型灌输额外的知识，为其提供更多参考，不过由于知识库的内容未必都对问题有帮助，需要对它们进行语义搜索或初步筛选，这时候便需要 CVP Stack。

何为 CVP Stack？C 是 ChatGPT，即利用大语言模型实现以 ChatGPT 为代表的智能问答；V 是 Vector database，即通过向量数据库为 ChatGPT 提供大规模的、可靠的知识库；P 是 Prompt as code，即使用提示匹配用户问题与来自知识库的参考内容。CVP Stack 的应用场景代表为面向开源用户和开源社区运维人员的问答机器人 OSSChat（https://osschat.io/）以及 GPT 的缓存层 GPTCache(https://github.com/zilliztech/GPTCache)。

在整个 CVP Stack 中，向量数据库扮演着重要角色，它是为 AI 而生的数据库，Milvus 是这一赛道的奠基者与领先者。Milvus 2.0 是云原生分布式的一款向量数据库，具有百亿规模的向量可扩展性，能够实现存储计算分离、离在线一体化等。同时，Milvus 2.0 的性能亦值得关注，它的查询速度高于 ES 10 倍，高于主流竞品 2 倍，具备毫秒级延迟响应。此外，可插拔引擎、云端一体的特点也让 Milvus 2.0 成为全球领先的向量数据库。

而 Milvus 的下一站是全托管 SaaS 服务的 Zilliz Cloud，它具备维护成本低、使用门槛低、丰富的企业级特性、安全放心的特点。目前，Zilliz Cloud 已支持 AWS、GCD，今年 6 月底即将登陆阿里云，以便能够更好地为国内用户服务。

在“AI is Everywhere”的论坛上，李晨以《向量数据库，大模型的记忆体》为主题进行了分享。

｜Zilliz 开发者关系及市场运营负责人李晨

李晨着重解释了向量数据库为何是大模型的记忆体。他表示，在 CVP Stack 之中，Vector Database 作为一个大模型的外部存储，可以为大模型提供最有效的知识增强方案。再深入点理解，如果把大模型看作人类的大脑，那么这个大脑除了需要具备强大的计算能力，还需要拥有与之匹配的存储能力。在传统的经典计算架构中，冯·诺伊曼架构是计算与存储分离的形式，这也成为大模型的趋势。原因在于，纵观整个计算机发展历史，存储的价格用于低于计算价格一个乃至多个数量级，大模型也不例外，在成本与计算的双重考量下，如向量数据库一般的外部存储的重要性，不言而喻。

在向量数据库的加持下，大模型将以更低的成本得到更智能的知识增强效果。那么，得到知识增强后的大模型，下一站在哪里？答案是智能体（ Intelligent agents）。

例如 Auto-GPT，可以理解为完全自制的 GPT-4，它完全具备思维推导与执行的能力，未来甚至可能产生类似智能体的思考。又如斯坦福和谷歌做的名为“Generative Agents: Interactive Simulacra of Human Behavior”的研究，他们在一个虚拟环境中模拟了几个卡通人，每个卡通人都具备自主的判断能力和意识，可以在虚拟世界中生活、交互、成长。

此外，第一个智能体机器人的虚拟社区 Chirper.ai、AI 分身、小说创作公司开始制作人物的虚拟实体、游戏公司开始用虚拟分身与玩家交互、聊天……

这其中，除了需要借助大模型的能力，也要用到向量数据库的能力。在此情况下，向量数据库未来将迎来百万级的市场增长，未来可期。

• 关于 Zilliz

Zilliz 作为向量数据库领域的拓荒者与奠基者，不仅开创了向量数据库赛道，也提供了世界上最快的向量数据库产品。随着近一年来大模型的火爆，Zilliz 也迎来了全世界的关注：早在 3 月份英伟达全球开发者大会上，Milvus 便作为向量数据库的代表被黄仁勋提名；紧接着 Zilliz 旗下的 Milvus 和 Zilliz Cloud ，也成为了 OpenAI 官方首批 plugin 合作的向量数据库。最近，Zilliz 先后接入和支持了各种热门的项目，例如 LangChain、 Auto-GPT、BabyAGI 等，成为全球最炙手可热的向量数据库品牌。

Zilliz 产品生态丰富，致力于构建开源+云的大模型加强方案，其中开源向量数据库 Milvus 扮演着大模型知识库的角色；Towhee 可以为大模型提供编排服务；GPTCache 则为大模型提供缓存；Zilliz Cloud 可以为用户提供开箱即用的全托管向量检索服务。

​

• 如果在使用 Milvus 或 Zilliz 产品有任何问题，可添加小助手微信 “zilliz-tech” 加入交流群。​

• 欢迎关注微信公众号“Zilliz”，了解最新资讯。