写点什么

数十倍的数据量增长,传统 OLAP 还能应对吗?

作者:Kyligence
  • 2022-10-26
    上海
  • 本文字数:2200 字

    阅读完需:约 7 分钟

数十倍的数据量增长,传统 OLAP 还能应对吗?

OLAP 一词最早是关系数据库之父 E.F. Codd 在 1993 年提出的 ,当时 OLAP 在数据分析领域是一门主流技术,IBM、Oracle、微软等知名公司都推出了相应的产品及解决方案,助力很多企业解决了当时的数据分析难题。


近几年,各大金融机构纷纷拥抱金融科技,数字化转型不断深入,传统 OLAP 技术的弊端逐渐显现,甚至成为业务发展的阻碍。相较于传统 OLAP 分析产品带来的限制,基于大数据平台的 OLAP 架构将提供更短的数据开发周期、更快的查询性能、更高的并发性和更易扩展的分布式架构。


1. 面临的挑战


当前传统 OLAP 存在如下诸多问题,影响了各大金融机构的业务拓展。


  • 数据孤岛与日益增长的维护成本

各个应用系统多为不同厂商提供及系统整合度低带来的数据孤岛问题,导致数据使用时效性差,使得各 IT 技术部门需要针对不同业务部门的需求提供不同的数据方案,造成人力资源浪费。传统架构实施和软硬件扩容成本高昂,给企业带来了巨大的成本负担。


  • 响应周期长和低易用性

业务人员依赖于技术部门提供的方案,缺乏自助分析能力,且新需求开发周期长,无法快速应对业务变化,难以支持来自经营分析、客户管理、精准营销、风险防控等多业务的灵活跨领域分析需求,无法高效应对大数据带来的多维分析挑战。


  • 受限的业务分析能力

随着企业向互联网+金融科技的转型带来的数据量和数据分析需求的爆发式增长,传统数据仓库在数据量、维度数量、分析粒度、查询速度、构建性能、并发能力等方面也已趋显不足,由于其本身技术架构的局限性,无法满足企业对海量数据中细粒度维度和指标进行灵活高效分析的需求,存在分析时效滞后,分析预见性差以及回溯分析困难等痛点,使得管理者难以从整体上掌控关键问题和分析原因。


2. OLAP 升级方案


如上文所说,传统的集中式技术架构,在云原生高并发、大数据、融合计算等方面的局限,一定程度上制约了企业的业务创新,难以满足企业如今的高速发展。因此,不管是从核心技术自主可控的角度,还是转型升级的客观需要,金融机构的传统 OLAP 升级已经势在必行。


  • 从容应对数据量暴增,快速支持多源数据接入

面对大数据时代下的数据激增,OLAP 升级方案需要打破传统数仓的随数据量增长、硬件成本也随之增长的魔咒,提供海量数据存储/计算/分析需要的可扩展平台;同时,该平台需要打破数据孤岛壁垒,快速整合所有业务条线数据,进行集中式管理,统一数据口径,提升数据整合度,支持业务高效的跨领域的综合分析。以银行为例,在开放银行时代,通过打通线上线下多种场景,提供商家商业智能的分析服务,面向行业重点大商户,提供经营概况、客群分析、竞合态势等数据服务功能,辅助商户经营决策,开展精准营销的商户智能决策等,为不同的客户群提供有针对性的服务。


  • 快速的业务响应,赋能长尾开拓能力

升级后的大数据平台需要支持超大数据集下的快速查询响应,实现业务数据分析的透明加速,带来用户体验和价值感的全面升级。该平台需要支持业务人员从海量大数据的成百上千个不同类型的可分析维度和指标中(例如商户、渠道、地区、消费状况等)自由筛选进行分析,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力,让业务低成本甚至零成本利用技术开拓长尾市场,收获成功。


  • 加速数据平民化,高效带动业务创新

需要让业务人员抛开只能使用已有方案的束缚,让“零基础”的业务人员也能轻松进行数据分析,从容应对大数据带来的多维分析挑战,实现真正的数据平民化。例如,业务人员通过结合内外部数据,建立对核心客户的全方位、细粒度的认知,进行商业决策洞察;还可以为客户自身提供数据服务,与其它合作伙伴(银行、电信、第三方)开创新的应用模式,带动业务创新。


未来,随着人工智能、云原生、大数据等技术的发展,企业大数据平台势必会持续变迁。金融业作为数字化转型的先行者,尤为注重业务与科技更深度的融合。成立多年来,Kyligence 服务了众多银行、保险、证券等行业的领先企业,助力多家企业统一指标中台、客户旅程分析、精细化运营等场景的落地。10 月 27 日,Kyligence 特邀来自泰康在线、新致科技的演讲嘉宾,以升级 Cognos 应用为例从行业实践、业务需求、产品方案等视角一起探索 OLAP 升级最佳实践


了解更多金融业 OLAP 升级解决方案,欢迎大家点击https://app.ma.scrmtech.com/meetings-api/sapIndex/SapSourceData?pf_uid=24888_2008&sid=68823&source=2&pf_type=3报名 10 月 27 日 15:00 金融业传统 OLAP 升级及精细化运营实践网络研会


关于 Kyligence


上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办,致力于打造下一代企业级智能多维数据库,为企业简化数据湖上的多维数据分析(OLAP)。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能,Kyligence 提供成本最优的多维数据分析能力,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力。


Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业,并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。

发布于: 刚刚阅读数: 4
用户头像

Kyligence

关注

To be Great! 2021-11-08 加入

Kyligence 由 Apache Kylin 创始团队创建,致力于打造下一代智能数据云平台,为企业实现自动化的数据服务和管理。

评论

发布
暂无评论
数十倍的数据量增长,传统 OLAP 还能应对吗?_大数据_Kyligence_InfoQ写作社区