银行业上云进行时,OLAP 云服务如何解决传统数仓之痛?
本文节选自《中国金融科技发展概览:创新与应用前沿》,从某国有大行构建大数据云平台的实践出发,解读了 OLAP 云服务如何助力银行实现技术平台化、组件化和云服务化,降低技术应用门槛,赋能业务创新。此外,本书还收集了一手国内金融机构在金融科技发展与应用的最新成果及案例,欢迎大家参与文末互动,更有机会免费获取最新版《中国金融科技发展概览:创新与应用前沿》。
OLAP 是数据分析的基础能力,在企业的数字化经营和管理决策中发挥至关重要的作用。随着金融业数字化转型的推进,银行的数据量呈现爆发式增长的趋势,传统的数据仓库难以满足企业数据分析的需求。因此,充分发挥数据作为关键生产要素的作用,在银行数字化转型中提升运营效率、驱动管理决策、推动业务增长和创新,成为了银行的一个重要课题。
1.传统数据仓库困难重重
近年来,传统 MPP 数据仓库难以高效处理银行大规模数据的在线联机分析,随之出现了众多新的技术,如 Hive、Spark、Presto、MPP on Hadoop、Druid、Elastic search 等,虽然这些技术各有所长,但往往只能覆盖 OLAP 的部分场景。因此,各大企业亟需统一 OLAP 平台,降低大数据的技术门槛,快速与充分挖掘大数据的价值,解决下述难题:
平台的设计、部署、维护和管理难题:大数据 OLAP 平台是一个非常庞大的生态和系统,尤其是大型金融机构用于 OLAP 场景的技术众多,搭建并管理好这样一个多种技术混杂的平台需要投入大量的人力物力;
金融业数字化程度高、数据价值密度大:大量的业务创新要结合外部数据,传统的技术和方案要实现海量数据众多维度的精细化分析非常困难;
OLAP 敏捷部署和弹性扩展:在海量数据大规模应用的背景下,OLAP 服务的敏捷部署和弹性扩展是普遍的挑战,已经成为驱动数字化转型和赋能生态伙伴的瓶颈。
2.国有大行建设实践
Kyligence 作为金融科技公司以及大型银行的重要技术合作伙伴,依托在大数据和云计算领域的先进产品和雄厚的技术积累,助力某大型国有银行规划和建设了统一的金融大数据 OLAP 云平台,同时也加速了该银行大数据云平台的信创国产化进度。
该行大数据云平台从 2018 年开始建设,参考了互联网的大数据技术,结合近 20 年数据经验打造了金融级大数据云平台。该平台实现了九大能力,包括数据采集、集成、存储计算、数据管理、数据开发、数据分析挖掘、数据服务、数据安全运营、资源调度等,基本覆盖数据价值全链路的开发和运行。在这些能力之上,平台提供了三大类服务:
第一类是资源服务:提供实时计算,批量计算、图计算等环境和资源,这些服务都是云化版本,应用可以快速搭建自己所需的基础环境;
第二类是工具服务:提供了数据采集、加工、分析等工具,应用可以快速进行数据处理;
第三类是数据服务:大数据平台提供了在线的元数据管理、数据目录、数据服务总线等功能,方便对外的数据服务。
目前该银行大数据 OLAP 云服务的对象主要分为两类,一类是行内客户,一类是行外客户。在银行内部,大数据 OLAP 云服务可以敏捷、弹性、灵活支撑各种大数据应用。应用可以根据自身需求,将大数据 OLAP 云服务的海量数据多维分析能力和云上大数据平台其他组件提供的存储计算、数据加工、分析挖掘和数据可视化等能力组合,完成相应的业务功能,该行目前已经上线运行了 40 多个全云化的大数据应用,让大数据 OLAP 服务适用范围更广。
同时,该行大数据 OLAP 云服务支持了多地政府行业项目输出,在过程中完善了很多非金融特性。此外,大数据 OLAP 云服务也坚定了该银行将云平台产品化的决心,实现拓宽金融服务面、拉近客户与银行的距离、促进客户需求落地的功能。
如果说 Hive、Spark 等大数据技术针对海量数据在线联机分析做了成功的部分尝试,大数据 OLAP 云服务则是一项成熟而全面的解决方案,不但有效解决了传统 MPP 数据仓库在大规模数据在线联机分析上面临的难题,还在智能化方面做了突破,为银行业的国产化、数字化转型奠定了坚实基础。
除上述内容,Kyligence 服务的中国建设银行、浦发银行、中国银联、招商银行、平安银行等企业案例在本书中均得到展现,您可以通过本书详细了解中国建设银行《数据共享安全计算平台体系架构》、中国银联《企业级可视化智能决策中心建设实践》、平安银行《潘多拉指标平台方案》等精彩案例。
关于 Kyligence
上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办,致力于打造下一代企业级智能多维数据库,为企业简化数据湖上的多维数据分析(OLAP)。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能,Kyligence 提供成本最优的多维数据分析能力,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业,并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。
版权声明: 本文为 InfoQ 作者【Kyligence】的原创文章。
原文链接:【http://xie.infoq.cn/article/719c769fc02375d41efc641fd】。文章转载请联系作者。
评论