写点什么

华为云 FusionInsight 助力宇宙行打造金融数据湖新标杆

发布于: 2021 年 02 月 02 日

摘要:工行采用了华为云 FusionInsight MRS 大数据存算分离方案,实现了大数据平台与 OBS 对象存储服务的对接,将原有的 HDFS 数据无缝迁移到 OBS 上。在保证性能的前提下,实现了计算与存储独立按需扩容,轻松应对业务浪涌,提升资源整体利用率。


image


工商银行作为数字金融的领导者,践行“科技引领,创新赋能”的发展理念,持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作,引入了华为云 FusionInsight 智能数据湖,搭建了自主可靠的大数据平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了工商银行企业级数据湖、数据仓库、集团信息库的建设,数据智能服务由事后快速演进到事前、事中的阶段。


【业务挑战】


传统大数据存储计算耦合,TCO 高


工行之前使用传统大数据的三副本存储性价比低,往往 10PB 的存储空间,有效容量仅 3PB;同时存在存储、计算等资源不均衡,往往存储利用率超过 70%,但 CPU 利用率不足 50%,扩容时需要计算、存储资源一起扩容,存在资源浪费现象。


湖仓数据割裂,产生数据孤岛,协同分析难


工行内部使用 SAS 等工具通过 HiveQL 访问数据湖数据性能差,平均响应时间 5 分钟~2 小时,并发能力不足(<10 并发)。湖仓数据割裂,关联分析需要通过繁杂的 ETL 任务,将数据加工后加载到 OLAP 集市,数据链路长,分析效率和开发效率都很低。


平台升级需中断,缺少平滑演进能力


工行大数据平台的 Hadoop 批量集群已超过 1000 节点,日均处理作业 10 万+,数据存储数十 PB,承载了全行重点批量作业,其中包括反欺诈、精准营销等多个重要业务场景,服务连续性需求较高。而大数据技术迭代快,传统升级方式需断电、重启等操作,升级操作复杂,影响现网业务运行,且大集群升级耗时长,突发故障易中断升级动作。


【解决方案】


华为云 FusionInsight MRS 云原生数据湖助力构筑金融大数据平台


工行采用了华为云 FusionInsight MRS 大数据存算分离方案,实现了大数据平台与 OBS 对象存储服务的对接,将原有的 HDFS 数据无缝迁移到 OBS 上。在保证性能的前提下,实现了计算与存储独立按需扩容,轻松应对业务浪涌,提升资源整体利用率。华为独有的 Flex-EC 技术将副本率降低至 1:1.25,存储资源优化提升 2.4 倍。


工行大数据平台承载了总行和 200+分支行的数据,为了解决数据分布散、协同难等问题,降低金融分析师的用数难度,工行采用了华为云 FusionInsight MRS 的 HetuEngine 服务,通过 HetuEngine 引擎实现跨地市的协同计算,一个 SQL 连接就可以访问全部数据源,直接做碰撞分析,实现湖仓互联互通协同分析,避免不必要的 ETL 流程,减少数据搬迁


大数据技术快速发展,为满足业务变化发展需求,工行采用了华为云 FusionInsight MRS 滚动升级方案,借助于 Hadoop 核心组件的高可用机制, MRS 按照依赖层次,多层次并行,在不影响集群整体业务的情况下,一次升级/重启少量节点,依据组件和实例的依赖关系,自动编排升级批次。升级过程中,隔离故障节点,待升级完成后,再进行故障处理。循环滚动,直至集群所有节点升级到新版本。


【客户价值】


MRS 存算分离方案,TCO 降低 60%


计算/存储解绑定,精准投资,灵活扩展,计算资源利用率提升 30%+,存储资源利用率提升 100%+,TCO 降低 60%。统一数据存储底座,多个计算集群共享同一份数据,降低业务规划、扩容、维护难度,提供百亿文件 EB 级扩展能力。


image


HetuEngine 跨源跨源协同


使用华为云自研框架 HetuEngine,大幅度降低计算资源浪费,仅原 1/5 的硬件资源即可支持 45+并发,跨源跨源协同分析性能提升至秒级,兼容 99% Hive 语法,应用无缝迁移。


MRS 滚动升级实现架构平滑演进,业务 0 中断


通过华为云 FusionInsight 滚动升级能力,实现大集群分批次滚动升级,业务 0 中断;故障节点隔离功能确保升级动作的稳定运行,实现 7*24 小时不间断服务;1000+精细化运维指标及可视化操作简化运维,实现一个架构持续演进。


image


未来为满足工行业务高速发展需求,工行金融数据湖规模将达 3000+节点,满足工商银行批处理、流处理、交互式分析等大数据应用场景, 进一步提升数据洞察能力和基于场景的数据挖掘能力,充分释放大数据作为基础型战略资源的核心价值。


本文分享自华为云社区《华为云 FusionInsight 助力宇宙行打造金融数据湖新标杆》,原文作者:徐礼锋。


点击关注,第一时间了解华为云新鲜技术~


发布于: 2021 年 02 月 02 日阅读数: 82
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
华为云FusionInsight助力宇宙行打造金融数据湖新标杆