从 MaxCompute 到 Milvus：通过 DataWorks 进行数据同步，实现海量数据高效相似性检索

在如今大数据和人工智能应用场景中，企业往往需要对存储在云数据仓库（如云原生大数据计算服务 MaxCompute）中的大规模结构化数据进行向量化处理，以支持高效的向量检索和相似性分析等 AI 应用。

阿里云向量检索服务 Milvus 版是一款全托管向量检索引擎，并确保与开源 Milvus 的完全兼容性，支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模 AI 向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，Milvus 云服务成为多样化 AI 应用场景的理想选择，包括多模态搜索、检索增强生成（RAG）、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作，进一步促进应用的快速开发和部署。

结合 MaxCompute 与 Milvus，可充分整合 MaxCompute 在处理海量结构化数据（如日志、元数据）及执行复杂计算（如特征工程、模型训练）方面的算力优势，同时利用 Milvus 高效存储与检索高维向量的性能特性，能够支撑电商用户行为分析、医疗知识库构建及游戏内容推荐等多种场景。并通过结构化数据处理与向量检索能力的协同，实现多模态数据的融合分析，满足行业应用中对高维度特征检索与复杂逻辑计算的双重需求。

然而，如何将存储在 MaxCompute 中的大规模结构化数据高效、稳定地导入 Milvus，成为企业在数据智能化转型过程中的一大挑战。DataWorks 作为一站式智能大数据开发治理平台，提供了强大的数据集成服务。

用户可以通过 DataWorks 的数据集成服务实现无缝同步。

本文介绍如何利用 DataWorks，快速完成从 MaxCompute 到 Milvus 的离线数据同步。

一、前提条件

已在 Milvus 中创建 Milvus 实例。快速创建Milvus实例_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心
已在 MaxCompute 中创建 MaxCompute 项目。创建 MaxCompute 项目_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心
DataWorks 环境准备：
已创建工作空间。DataWorks 如何创建工作空间_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心
已购买所需 DataWorks 资源组绑定至相应的工作空间，详情请参见新增和使用独享数据集成资源组。https://help.aliyun.com/zh/dataworks/user-guide

二、操作流程

步骤一：数据准备

以下数据仅供测试使用，请您根据实际情况准备相应的数据。

在 MaxCompute 创建表。

本文使用的建表语句及数据如下所示。

CREATE TABLE dl_1216.`default`.mc_table (    id INT,    namespace STRING,    vector ARRAY<DOUBLE>);
INSERT INTO dl_1216.`default`.mc_table VALUES(100, 'aaa', array(1554047123.0, 1554047123.0));INSERT INTO dl_1216.`default`.mc_table VALUES(200, 'bbb', array(1554047999.0, 1554047999.0));
SELECT * FROM dl_1216.`default`.mc_table;

复制代码