MatrixOne 2.0.0 新特性解读

MatrixOne 2.0.0 是一款 AI 驱动的云原生超融合数据库，采用了存算分离的架构，全面优化了云上资源利用效率。 MatrixOne 兼容 MySQL 协议和语法，具备支持混合负载场景的能力，并结合向量数据类型、全文检索等特性，为生成式 AI 应用提供了强大的数据管理与检索支持。

架构与部署灵活性

MatrixOne 的架构分为计算层、事务层和存储层：

l  计算层 包括执行服务和 SQL 运行时，用于高效处理 SQL 查询。

l  事务层 提供事务服务和 ACID 支持，保障数据一致性和可靠性。

l  存储层 基于 S3 构建，支持多种存储选项，并集成缓存服务以优化访问性能。

MatrixOne 可灵活部署在云平台、物理机、虚拟机、容器以及边缘设备上，适配各种应用场景。

面向生成式 AI 的优化

MatrixOne 2.0.0 在生成式 AI 场景中表现卓越，尤其是在以下关键领域：

1.         向量检索与关键词检索

向量检索：通过向量数据类型和向量索引，实现高效的向量距离检索，满足大规模数据集的需求。

关键词检索：通过全文索引，优化短词短句的检索精度，适合文本和 JSON 数据的快速查询。

2.         多模态数据管理

Data Link 和 Stage 特性：支持直接访问外部存储（如 S3 桶）和文件系统，简化多模态数据的统一管理。用户可以通过 SQL 语句直接检索和管理文本、图片、音频和视频数据。

3.         AI 模型联动能力

MatrixOne 提供 向量索引 和 Python UDF，支持与绝大多数的大模型集成，执行向量化、特征提取及标签生成等任务。

4.         多租户与数据共享

支持协作场景下的多租户环境，便于开发者共享数据和特征库，加速生成式 AI 应用的开发与迭代。

数据安全与灾备能力

MatrixOne 2.0.0 为用户提供了完善的数据安全和容灾能力：

l  基于事务日志复制的容灾：支持主备集群和日志复制，保障业务连续性。

数据同步

l  CDC：数据变更从 MatrixOne 的计算节点捕获后，通过 CDC 管道传递到 MySQL 数据库。

l  快照恢复与 PiTR：支持数据快照和特定时间点恢复，确保数据安全可控。

基于 MatrixOne 快速构建 RAG 应用

在当今技术环境中，RAG（Retrieval-Augmented Generation）作为一种结合信息检索与生成模型的应用框架，正逐渐成为大模型应用的核心方向。通过结合信息检索与生成模型，RAG 不仅可以为用户查询提供上下文信息，还能生成更高质量、更具针对性的输出。它已在智能问答、内容创作、多模态分析等领域得到了广泛应用，展现出强大的实用性。

MatrixOne 作为一款 AI 驱动的超融合数据库，为高效构建和部署 RAG 应用提供了全面灵活的支持。

RAG 应用的核心需求

RAG 应用的构建依赖于以下关键能力：

1.         快速的数据管理与检索，确保相关文档能够以高效的方式被获取和利用。

2.         生成模型的上下文增强，通过精确的检索为生成提供可靠的语义支持。

3.         扩展性与灵活性，以适应从小型原型到大规模生产环境的需求。

MatrixOne 针对这些需求，结合了强大的数据管理能力、检索能力与生成支持能力，为开发者提供了从底层架构到高层应用的一站式解决方案。

MatrixOne 核心特性支持 RAG 应用

1. 高效的数据管理与外部数据访问

MatrixOne 支持通过 Stage 特性 直接连接外部存储（如 S3 桶、网络文件系统），并使用 SQL 语句进行统一管理。用户可以轻松访问 JSON 文件、多模态数据（图片、视频、音频）等，为应用提供丰富的内容来源。

此外，通过 Data Link 数据类型，MatrixOne 能够将外部文件与数据库记录直接关联，支持一站式操作，大幅减少数据预处理的时间与复杂度。

2. 全文索引与向量检索的完美结合

MatrixOne 具备全文索引与向量检索的混合能力。用户既可以通过关键字快速锁定文档，又能通过向量匹配实现语义级检索，甚至同时结合两种方式完成复杂查询。

这种双管齐下的能力为 RAG 应用提供了无缝衔接的信息检索，特别是在多模态场景下，能显著提升检索的准确性与生成结果的相关性。

3. 灵活的数据处理与生成支持

MatrixOne 提供对 Python UDF（用户定义函数） 的支持，用户可以直接在数据库中运行定制化脚本，执行复杂的数据处理任务。例如，通过向量化模型生成数据嵌入，或对多模态数据进行分片分析。在生成模型的对接方面，MatrixOne 还支持通过数据库内置机制调用大语言模型，实现从数据检索到内容生成的高效协作。

4. 自动化与扩展性设计

MatrixOne 内置的自动扩展和分布式架构，使其能够动态应对不同规模的负载需求，无论是个人开发者的轻量级应用到企业级的大规模部署，MatrixOne 始终能够提供稳定可靠的性能支持。

MatrixOne 构建 RAG 应用的实践

MatrixOne 提供了面向 RAG 应用的完整工具链。例如，用户可通过创建表的方式管理外部数据，并借助其内核中的向量和全文索引快速实现数据检索。

针对智能问答场景，MatrixOne 可根据用户的要求，决定采用关键字检索或向量检索，甚至执行混合检索操作。结果排序后，结合大模型生成精准回答。此外，多模态应用场景下，MatrixOne 能够结合文本与视觉信息，实现图文视频的统一检索；而内容创作中，用户输入的摘要可通过系统生成完整文章或提炼精要。

目前，RAG 应用的构建正在向更高效、更灵活的方向发展。基于 MatrixOne 的架构支持，开发者可以快速构建索引混合或内容混合的高效系统，满足各种复杂业务需求。从自动检索与排序到大模型协同生成，MatrixOne 构筑了一套高性能、低门槛的解决方案，让开发者可以轻松实现精准高效的用户交互。

通过 MatrixOne 的全栈能力，RAG 应用不仅提升了检索效率，也显著增强了最终生成结果的准确性和可用性。

10 分钟快速构建大模型 Demo

这次直播分享展示了如何利用 MatrixOne 数据库 和 MinIO 快速构建一个文档助手 Demo。通过一台笔记本，完成了从环境搭建到系统开发的全过程，展现了大模型结合数据库的强大潜力。以下为核心流程概述：

环境搭建与系统准备

1.         基础环境配置

a.       安装 MatrixOne 数据库，并通过虚拟化技术搭建一个 5 节点的虚拟机集群。

b.      配置 MinIO 作为对象存储系统，用于管理和处理 PDF 文件。

2.         前端展示框架

a.       使用 Streamlit 开发了一个简洁的前端界面，支持用户通过输入问题，实时获取检索结果。

文档处理核心功能

1.         PDF 文件处理

a.       用户通过前端上传 PDF 文件，文件存储到 MinIO。

b.      PDF 转换为 TXT 文件，并进行切片处理（分段分句），以优化后续的检索效果。

c.       将切片后的文本数据存储至 MatrixOne 数据库，同时记录其元数据。

2.         数据向量化与存储

a.       利用 千问模型 对文本切片数据进行向量化，生成特征向量。

b.      将文本与向量数据存储至数据库中，为后续检索奠定基础。

数据检索与结果展示

1.         混合检索技术

a.       使用 L2 距离向量检索，快速找到与用户问题相关的文档片段。

b.      在文本和 JSON 数据上建立 全文索引，执行关键词检索。

c.       综合向量检索与关键词检索结果，通过排序合并，生成最终的回答。

2.         前端互动

a.       系统将检索结果返回到 Streamlit 前端界面，用户可查看相关文档和回答。