写点什么

从 MaxCompute 到 Milvus:通过 DataWorks 进行数据同步,实现海量数据高效相似性检索

在如今大数据和人工智能应用场景中,企业往往需要对存储在云数据仓库(如云原生大数据计算服务 MaxCompute)中的大规模结构化数据进行向量化处理,以支持高效的向量检索和相似性分析等 AI 应用。

阿里云向量检索服务 Milvus 版是一款全托管向量检索引擎,并确保与开源 Milvus 的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模 AI 向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus 云服务成为多样化 AI 应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作,进一步促进应用的快速开发和部署。

结合 MaxCompute 与 Milvus,可充分整合 MaxCompute 在处理海量结构化数据(如日志、元数据)及执行复杂计算(如特征工程、模型训练)方面的算力优势,同时利用 Milvus 高效存储与检索高维向量的性能特性,能够支撑电商用户行为分析、医疗知识库构建及游戏内容推荐等多种场景。并通过结构化数据处理与向量检索能力的协同,实现多模态数据的融合分析,满足行业应用中对高维度特征检索与复杂逻辑计算的双重需求。

然而,如何将存储在 MaxCompute 中的大规模结构化数据高效、稳定地导入 Milvus,成为企业在数据智能化转型过程中的一大挑战。DataWorks 作为一站式智能大数据开发治理平台,提供了强大的数据集成服务。

用户可以通过 DataWorks 的数据集成服务实现无缝同步。

本文介绍如何利用 DataWorks,快速完成从 MaxCompute 到 Milvus 的离线数据同步。

一、前提条件


二、操作流程

步骤一:数据准备

以下数据仅供测试使用,请您根据实际情况准备相应的数据。

  • 在 MaxCompute 创建表。

本文使用的建表语句及数据如下所示。

CREATE TABLE dl_1216.`default`.mc_table (    id INT,    namespace STRING,    vector ARRAY<DOUBLE>);
INSERT INTO dl_1216.`default`.mc_table VALUES(100, 'aaa', array(1554047123.0, 1554047123.0));INSERT INTO dl_1216.`default`.mc_table VALUES(200, 'bbb', array(1554047999.0, 1554047999.0));
SELECT * FROM dl_1216.`default`.mc_table;
复制代码


  • 在 Milvus 创建 Collection。

本文通过 Attu 页面(Attu操作指南_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心)创建 Collection,您也可以通过 Python SDK 方式来创建,详情请参见创建 Collection管理Collections_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心


步骤二:新增数据源

1. 进入数据集成页面。

登录 DataWorks 控制台(阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台),切换至目标地域,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成。

2. 在左侧导航栏单击数据源,然后单击新增数据源。

3. 新增 Milvus 和 MaxCompute 数据源。

DataWorks 通过创建数据源的方式,接入数据来源和数据去向,因此,本步骤需要分别创建 Milvus 和 MaxCompute 两个数据源。

  • 创建 Milvus 数据源

a. 在新增数据源的搜索栏中,选择数据源类型为 Milvus 数据源。

b. 在新增 Milvus 数据源对话框中,配置以下基础信息,其余参数保持默认值即可。




  • 创建 MaxCompute 数据源

a. 在新增数据源的搜索栏中搜索并单击 MaxCompute。

b. 在新增 MaxCompute 数据源对话框中,配置以下基础信息,其余参数保持默认值即可。




4. 在连接配置区域,找到工作空间已绑定的资源组,单击连通状态列的测试连通性。

  • 如果测试资源组连通性状态为可连通,即完成新增数据源的创建。

  • 如果显示无法连通,表示资源组与数据源无法连通,后续相应数据源任务将无法正常执行,此时您需要根据右侧弹出的连通性诊断工具窗口,自助解决连通性问题,连通性诊断工具会提示目前连通失败的原因,请根据提示进行修改调整。

5. 单击完成。

步骤三:配置同步任务

1. 在左侧导航栏中选择同步任务,对同步任务的来源和去向进行设置,然后单击新建同步任务。



2. 在新建同步任务页面,同步类型选择为单表离线,然后单击确定,前往 DataStudio 页进行数据传输设置。

3. 在新建节点对话框中,节点类型选择离线同步,路径和名称可以根据实际情况设置,然后单击确认。



4. 在网络与资源配置阶段,分别对数据来源、资源组、数据去向的内容进行设置,然后单击下一步。



涉及参数如下:

  • 数据来源:MaxCompute。对应的数据源名称,选择前一步骤中新增的 MaxCompute 数据源,例如,MaxCompute_Source。

  • 资源组:已在 DataWorks 中购买的 DataWorks 资源组。

  • 数据去向:Milvus。对应的数据源名称,选择前一步骤中新增的 Milvus 数据源,例如,Milvus_Source。

5. 在配置任务阶段,分别对数据来源与去向、字段映射、通道控制的内容进行设置,然后单击图标。

更多配置信息,请参见通过向导模式配置离线同步任务。https://help.aliyun.com/zh/dataworks/user-guide

a. 在数据来源区域,选择待同步的表。



b. 在数据去向区域,配置数据去向的各参数。

c. 在字段映射区域中,设置来源字段与目标字段的映射关系。



字段映射中的来源字段和目标字段需要一致,并且同行相对应,详情请参见类型映射表格。如果字段本身在表中没有(或不支持)默认值填充,则同步会出错。



d. 在通道控制区域,配置通道参数。

6. 运行任务。



当运行日志中出现 Shell run successfully 时表明任务运行成功。

步骤四:查询测试

  1. 访问 Attu 页面。(Attu操作指南_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心

  2. 进入目标集合(本文示例为 collection_name),在数据页签中查看同步的数据。



三、相关信息

如有疑问,可评论区留言!

用户头像

还未添加个人签名 2020-10-15 加入

分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。

评论

发布
暂无评论
从MaxCompute到Milvus:通过DataWorks进行数据同步,实现海量数据高效相似性检索_人工智能_阿里云大数据AI技术_InfoQ写作社区