阿里云发布《升舱 - 数据仓库升级交付标准化》白皮书
近日,阿里云正式发布《升舱-数据仓库升级交付标准化》白皮书,针对传统数据库仓库升级交付的方法、工具、平台等体系化建设提供最佳实践指引。
长期以来,企业级数据仓库构建主要以 Teradata、Oracle、DB2、Vertica、Greenplum 等为主,这些系统经过几十年的技术积累,一方面功能完备、稳定可靠;另一方面成本也比较高,且部分有专用硬件限制,在解决业务几何级数据量规模增长时面临挑战。
而以 Hadoop 生态为代表的的大数据系统主要解决了数据分析的大规模数据量问题,在功能完备性、易用性和维护性上,与这些传统数仓相比,还是有差距。所以大部分金融机构都是在保留已有 MPP 数仓核心业务的基础上,尝试部署 Hadoop 系统用于创新业务探索,同时解决数据增长带来的成本问题。
近年来,国外涌现了以 Redshift、Snowflake、BigQuery、Synapse 等为代表的云原生数仓,对传统数仓和 Hadoop 系统有替代之势。然而,这些产品均是公共云 SaaS 形态,且国内并未提供服务,或提供的服务功能受限。与此同时,金融、电信等行业面临数字化转型、数据规模增长和传统数仓升级的需求,需要选型下一代数据管理和分析系统。
另外由于国内外市场和政策的区别,我国金融、运营商、政务等行业的数仓构建,主要以混合云为主。
在此背景下,,阿里云发布 AnalyticDB 数据仓库升舱解决方案,可帮助金融、电信
等行业客户实现传统数仓向云原生数据仓库的平滑升级,以应对不断增长的数据规模、业务数字化转型和传统数仓替换升级的需求。
数据仓库升级需要秉持“三个目标、四个原则,五个关键动作”标准
“升舱,本质上是一场以云原生技术栈的深化应用为核心手段,以‘降本提质增效’为核心目标的传统数据仓库云化升级,需要我们通过标准化交付工具和平台,应用好新一代的云原生技术,为金融、运营商等行业客户的传统数据仓库升级,提供从规划到实施落地的端到端的企业级升舱解决方案。“阿里云全球技术服务部数据库交付负责人罗龙九表示,“数据仓库升级交付围绕业务敏捷响应、降本提效、自主开放为核心目标,以统一规划、阶段实施的原则进行建设,同时有严格的质量监督体系。”
罗龙九介绍道,所谓统一规划,就是正式升级建设前,通过轻咨询结合企业自身业务特点规划升级数据仓库顶层设计,并进行严密的技术可行性论证,产出提供数据仓库迁移工作所需的现状调研,以及进行需求分析、方案设计、方案可行性验证、交付实施规划、升级所需软硬件资源规划和容量设计、高可用与容灾设计等。阶段实施,则是五阶十步方法论实施流程,围绕阿里云 AnalyticDB 分析型数据库替换传统数据仓库,从调研与设计、测试迁移、生产迁移、系统并行直至项目验收五个阶段展开的落地交付工作,每一阶段都有明确的目标和成果预期,采用瀑布式流程迭代,直至成功把原有数据仓库数据、作业调度、数据模型迁移到以 AnalyticDB 为主构建的新数据仓库平台。
数据仓库升级实施规划流程图
作为国内领先券商,申万宏源证券一直重视挖掘数据资产的价值,此前采用了十几年的 国外传统数据仓库系统为业务发展带来良好的业务支撑。但随着数字时代的到来,原有的数据仓库无法满足申万宏源日益增长的业务数据需求。申万宏源决定选择全新的云原生数据仓库进行升级,在综合对比多家厂商性能后,携手阿里云进行数仓升级。升级后,申万宏源的数据仓库系统整体性能提升 40%以上,支撑了数万张核心表,为运营及业务快速发展提供了可靠、高效的云上基础设施环境。
申万宏源证券数据中心部门负责人石宏飞表示,通过数仓升级,申万宏源证券一步步地向“四个化”进发,即实现数据治理全面化、数据资产标准化、推行数据应用智能化、实现数据服务制度化。
《升舱-数据仓库升级交付标准化》白皮书是阿里云结合金融、运营商等关系国计民生重点 行业大量项目实践经验的分析总结,同时也是阿里云深入研究传统数据仓库升级交付流程和价值创造方式的阶段性成果。
还未添加个人签名 2021.03.24 加入
还未添加个人简介
评论