大数据拥抱云原生 HashData 助力资管数字化转型

5 月 16 日，2023 国际资管科技创业者与投资者大会“资管数据处理（大模型）技术”专场在上海举行。本次大会以“资产管理 数智技术”为主题，邀请企业、高校、投资机构等各方开展产业交流与讨论，共享共创行业机遇。

酷克数据作为国内云原生数据仓库领军企业受邀参会，副总裁魏一在会上分享了大数据与资管行业结合的新思想、新技术、新实践。

魏一表示，对于资管行业数据来源丰富、非结构化数据占比高、机构分布广的特点，HashData 云数仓是最匹配的数据分析平台方案。基于云原生架构，通过“存算分离”和“湖仓一体”的成熟落地实践，HashData 能够消除“数据孤岛”，融合内外数据源，灵活管理与分析非结构数据，实现数据全局共享与高效访问，为资管公司提供跨地域、跨部门的数据资源管理、弹性供给、多地多活部署能力，赋能资管公司充分释放数据资源价值，获得发展先机。

大数据时代金融业数据管理的机遇与挑战

数据仓库是金融业的重要基础设施，在数据价值挖掘过程中发挥着至关重要的作用。

魏一表示，金融行业信息与数据密集，对数据仓库要求极为严苛。以往，金融行业通常使用存算一体的 MPP 产品来建设数据仓库。然而，随着金融科技的推进和数据量的激增，高并发、海量数据、超高峰值等挑战接踵而至，导致数据资源存储、计算和应用等需求大幅提升。

近年来，金融行业面临线上化、无纸化、场景化的数字化改革，应用场景复杂，数据规模日趋庞大，传统数仓无法应对业务潮汐带来的弹性扩展，不能满足千万查询次数/天和百万表级复杂度查询。同时，传统数仓缺少多 AZ 部署、跨站点容灾方案，已成为金融企业数字化转型过程中的掣肘。

面对传统数据仓库带来的挑战，很多咨询机构都提出了多元化、混合架构的思路，技术上引入了纯软的 MPP 数据库和 Hadoop。但随着金融业务负载越来越复杂，需求越来越多，多元化平台无法实现高并发、负载无法隔离等缺陷愈发凸显，难以满足弹性、高并发、高可靠要求，同时还存在业务体验波动、数据整合不足、数据支撑不佳、运维管理复杂等缺点。

魏一指出，大数据+云计算时代，金融行业亟需既能适应业务弹性变化、又能提供良好分析体验的下一代数仓平台，为金融企业创新发展提供技术支撑。

魏一认为，现代金融企业数据分析平台要具备多形态数据管理能力、多样化分析计算能力和多维度的弹性伸缩能力，同时能够兼容结构化、半结构化、非结构化等不同形态、不同时效性的数据，进行多样化的计算和分析，并根据业务需求变化进行弹性伸缩。

云计算技术可以很好解决上述这些需求，国内外主流的公有云厂商也都推出了基于云原生架构的数据库产品。同时，Snowflake、Databricks 等独立软件厂商也推出存算分离、湖仓一体架构的产品。

云原生数仓自诞生以来，迅速发展成为行业主流趋势。多家市场调研机构发布的报告显示，云原生数据仓库的市场份额将超越传统数据仓库。Gartner 预计，未来全球 75%的数据库都会运行在云端。

HashData 助力金融行业提质增效

当前，数字经济已成为我国经济发展的重要引擎。对于金融机构而言，数据也成为贯穿金融行业数字化转型的核心资源。

随着金融信息化向数字化跃迁，数据库的支撑能力在一定程度上决定着金融机构数字化转型中的成败。

与传统 MPP 架构的数据库相比，云原生数据仓库对提升企业数据分析的效率成效显著。

独立咨询公司 Forresters 对四家使用 Snowflake 的企业调查显示，三年时间累计创造的价值超过 2100 万美金，ROI 折合达到 612%。其中，节约数据运营成本 211 万美金，节约数据库和基础设施运营成本 595 万美金。同时，Snowflake 能够大幅缩短计算时间，提高利润，根据数据提供更好的决策。

HashData 作为国内最早专注于云原生数仓研发的独立软件厂商，自 2016 年创立起就始终践行“云原生”理念，致力于打造世界一流的云原生数据仓库。

HashData 云数仓采用以 Snowflake、Databricks 和 Google BigQuery 为代表的业界领先的云原生大数据系统设计理念，围绕着对象存储和抽象服务构建，通过元数据、计算和存储三者分离，多集群共享统一数据存储层的架构，最大限度发挥云计算优势，利用云平台的弹性+分布式的特点，实现快速部署、按需伸缩、不停机交付等，大幅降低企业进行大数据分析的门槛。

作为企业级云原生数据仓库，HashData 通过创新的存储、计算、服务、应用层架构设计，提供了传统解决方案无法比拟的高并发、弹性、易用性、高可用性、高性能和扩展性，实现了云原生、应用松耦合、湖仓一体、近乎“零运维”等特点，能满足客户高安全、高可靠、高扩展、智能化全方位需求，为金融机构提供功能全⾯、稳定可靠、扩展性强以及性能优越的企业级数据库服务。

多年来，HashData 持续深耕金融核心场景，积累下丰富的实践经验。目前，HashData 已在多家国有大型银行、股份制银行、头部券商等机构实现大规模商用落地，并支撑了全球最大规模的金融行业单客户集群。

以恒丰银行为例，通过引入 HashData 云数仓构建的“恒心系统”，成功解决了前几代产品资源浪费、扩展性差、并发支持小、无法快速扩缩容、数据孤岛、数据冗余、运维工作量大等问题。

相比旧系统，恒心系统实现了多方面的能力提升，核心处理能力提升 6.38 倍，卡业务交易每秒处理能力提升 23.8 倍，线上支付业务交易每秒处理能力提升 17.7 倍。同时，“恒心系统”在满足行内规划新型数仓支撑应用计算服务需求的同时，节省了 30%左右的服务器成本。

魏一表示，未来，HashData 将持续构建全面的金融数字化能力，通过深入企业业务场景的方案及服务能力，筑牢金融转型与创新发展的“数字底座”，推进金融数字化战略落地，助力上海建设金融科技中心和全球资产管理中心。