背景

随着 AIGC 技术日新月异的发展，LLM 应用也在持续迭代，检索增强生成（RAG）系统已经成为企业知识库、智能客服、电商导购等场景的核心环节。除了基础的文本 RAG 能力外，支持图片、视频内容理解的多模态 RAG 成为优化对话效果、改善用户体验的重要一环。基于知识库中的操作流程图、商城数据库中的商品图等，为用户提供文字+图片结合的更生动的 RAG 效果。OpenSearch LLM 智能问答版内置数据解析与处理、切片、向量化、文本 &向量检索、多模态 LLM 等模型和功能。本文将介绍如何使用 OpenSearch LLM 智能问答版搭建一站式多模态 RAG 系统。

多模态搜索

在企业中，大量信息以图片、视频的方式存储，以文搜图、以图搜图成为快速获取图片信息的有效方式。OpenSearch 基于图片理解大模型、图片向量模型，支持端到端快速构建多模态搜索系统。为体验多模态搜索效果，OpenSearch 基于钉钉 AI 助理和公开数据集，推出多模态查询助手 demo。点击立即免费体验 >>

多模态 RAG

在多模态搜索基础上，OpenSearch 结合文本生成大模型，面向企业知识库、电商导购等场景推出多模态 RAG 能力。用户上传业务数据后，OpenSearch 不仅能智能理解图片中的信息，还会以此作为参考，生成相应对话结果，提供基于企业知识库、商城商品库的 RAG 服务。

三步搭建流程

OpenSearch LLM 智能问答版是一站式开箱即用的 RAG 产品，用户可分钟级构建多模态 RAG 系统。

Step 1：购买智能问答版实例

点击完成 OpenSearch LLM 智能问答版实例购买：https://common-buy.aliyun.com/?commodityCode=opensearch_openknowledge_public_cn&edition=llm

首购用户可享首月免费试用

Step 2：上传多模态数据文档

Step 3：问答效果测试

基于 OpenSearch LLM 智能问答版的多模态 RAG 应用搭建完成，可用于智能问答、电商导购等多种场景。

• 了解 OpenSearch LLM 智能问答版详情，可参考：https://www.aliyun.com/activity/bigdata/opensearch/llmsearch
  

• 如有 RAG 系统相关问题，欢迎加入 OpenSearch LLM 智能问答版钉钉支持群：34895000837，了解更多技术细节和使用详情。