又一大模型技术开源！有道自研 RAG 引擎 QAnything 正式开放下载

2024-01-17
北京
本文字数：1450 字
阅读完需：约 5 分钟

很开心和大家宣布，我们自研的知识库问答引擎 QAnything 正式开源！

除了可以调用云端大模型服务，还支持纯本地部署，大家可免费在开源社区 Github 内进行下载（地址：https://github.com/netease-youdao/Qanything）一键部署即可使用！系统支持 word、ppt、excel、pdf、图片等多种文档格式，直接导入进去即可像"ChatGPT"一样问答。

如果你有大量的文档需要问答，又对隐私比较关心，且有个带 Nvidia 显卡(推荐 3090 及以上)的电脑，都可以下载 QAnything 使用哦～

（QAnything 系统架构图）

QAnything 的主要原理是基于检索增强的生成（Retrieval Augmented Generation，简称 RAG）。RAG 是目前很火的一种技术框架，它能够利用检索外部内容的方式增强大语言模型的准确度、专业能力和个性化等各方面的性能。

通用大模型能力很强，但无法使用用户的私有数据，且存在胡乱编造的幻觉问题。而 QAnything 作为有道自研的 RAG 引擎，结合了用户私有数据和大模型的优势——用户的任何内容，以任意的形式存在，比如各种格式的文档，音频，数据库等，都可以在 QAnything 的支持下，变成可以针对其内容进行问答的使用方式，通过这个技术框架用户可以很方便地搭建自己的智能知识助手。正如它的名字一样，Q 是 question，A 是 answer，QAnything 的目标就是万物皆可问！

以日常的文件处理为例，QAnything 会理解用户的意图，在全库中寻找相关的内容，理解、提取用户关心的要点，并加以总结后呈现给用户。

值得一提的是，本次我们开源的 QAnything 是一套完整的 RAG 系统，包括专门优化的自研的 embedding 和 rerank 模型，微调后的 LLM，优化后的推理代码，向量数据库，以及一个立即上手可用的前端。所有的算法模型（包括 7B 大模型+embedding/rerank+OCR）占用显存不超过 16G。

如今，QAnything 已在我们的多个产品中应用，包括有道翻译文档问答、有道速读及有道内部业务的客服系统等。

以子曰教育大模型最新应用成果——有道速读（https://read.youdao.com/）为例，目前该功能已上线在有道翻译中。相信大家在日常生活中都面临非常多的阅读文档的需求，有的时候是观其大略，有的时候是精读，或者是查询一个具体的信息。而针对这些需求，有道速读上线了文档问答、文章摘要、要点解读、引文口碑和领域综述五大功能，能够帮大家更快更准地获得信息和对文档的理解。

而它背后的驱动，就是我们自研的 RAG 引擎 QAnything。在大模型技术的加持下，用户能够实现快速理解文档、定位要点，帮助你 1 分钟读完万字长文！