写点什么

再拔头筹,FusionInsight 为华为云大数据打造硬实力

发布于: 2020 年 11 月 12 日

摘要:在 IDC2020 大数据报告中,有云服务厂商、传统 ICT 厂商,以及大数据时代的创企等三类“玩家”,为何华为云能够脱颖而出?


近日,IDC 发布《IDC MarketScape: 中国大数据管理平台厂商评估,2020》报告。该报告从能力、市场、战略三大维度对中国主流大数据厂商进行全面评估,报告显示华为云位居“领导者(Leaders)”象限,并在市场份额和技术实力两个维度双领先。



可以看到,在 IDC 大数据报告中,有云服务厂商、传统 ICT 厂商,以及大数据时代的创企等三类“玩家”。为何华为云能够脱颖而出?

解读华为云 FusionInsight 智能数据湖五大硬核能力


据了解,华为云 FusionInsight 智能数据湖五大硬核能力凸显了创新技术。


硬核能力一:让政企客户在一个大、快、融、稳的数据湖架构下可持续演进!


大:传统的大数据单集群扩容受限,往往扩容到 2000 节点就难以突破,华为云 FusionInsight 通过大集群突破扩展性瓶颈,支持最大 2 万+节点大集群,还可集群联邦无限扩容。此大规模特性已在华为内部获得了实践,华为云流程 IT 通过 FusionInsight 构建 OneData 大数据集群,其规模已至 1 万+节点,支撑各部门运营分析、即席查询等大数据分析,每日新增数据近 100TB,10 万张表,即席查询任务日均 1 万+,批处理作业每日 10 万+。华为流程 IT OneData 大集群历经两次滚动升级,业务 0 中断,已稳定运行六年。


快:因数据量仍在不断指数级增长,人们对大数据高效处理的极致追求永无止境!传统大数据存在分析链路长,以 T+1 事后报表为主。华为云 FusionInsight MRS 可 T+0 实时增量更新和实时 OLAP,让大数据越用越”快“!华为集团 IT 基于 FusionInsight,实现了 CDC+FLINK 的实时集成方案,支撑了主干交易、财经、供应等交易数据的增量整合模型落地,相对于传统数仓的 ETL+调度方案,数据供给效率提升了 10 倍。


融:传统大数据分析面临类型多、分布散、协同难等问题;FusionInsight 通过 HetuEngine 实现五大融合,统一 SQL 接口仅用简单的 SQL 就可操作 PB 级数据,全民 BI,让大数据越用越简单。某行基于 FusionInsight 构建金融大数据,通过 HetuEngine 统一 SQL 接口,解决数据分散,组件多、语言多等难题,降低技术开发门槛,跨源跨域跨引擎融合分析,数据免搬迁,降低整体 TCO。


稳:FusionInsight 可保障一企一湖连续性,在线滚动升级,业务永远在线,无需拆集群、搬应用,彻底解决传统大数据集群多、效率低、管理难、升级难等问题,让升级过程中关键业务不中断,确保业务连续性。某运营商使用 FusionInsight 搭建了大数据平台应对 5G 数据浪涌,先后两次滚动升级实现了大数据平台的平滑演进,实现业务无中断,升级无感知,用户体验持续在线,单集群规模已扩展至 1500+节点,支撑了各类政务、旅游、精准扶贫等 200+大数据应用服务,覆盖用户 1.3 亿+。


硬核能力二:实时数据湖


为了实现实时性,华为云 FusionInsight 提出了实时数据湖, 支持数据实时批量入湖、实时增量同步,全量数据供应效率 T+0;可对贴源数据实时多维分析,缩短分析链路,提高分析效率,让数据价值近在眼前!


硬核能力三:云原生数据湖


近几年,云原生是云计算领域关键的技术创新,华为云在云原生领域也探索多年,通过 Data Lake Catalog 数据湖目录,为超大规模分析引擎提供统一元数据服务,让数据全局可视可得;在数据存储方面,通过 OBS 存算分离方案,实现计算、存储按需扩容,基于企业级 EC 实现最低 1.2 副本,总体 TCO 下降 20%+,让数据每 bit 成本更优。


湖内提供交互式分析引擎,可无缝对接 BI 报表和自助分析,实现秒级用数,数据免搬迁;湖内统一 SQL 接口,降低技术开发门槛,简化用数,实现技术领先的云原生数据湖。


硬核能力四:企业级数据仓库


华为云 FusionInsight 为客户提供基于 Shared-Nothing 架构提供新一代开放的、全场景分析型数据仓库 DWS,支持 2048 节点扩展能力;多层级全并行计算引擎,可调度海量的算力资源,通过高效的指令效率,实现数据导入和分析;具备多层级容灾能力,稳定可靠,离线、半在线、在线扩容技术,从容应对多种扩容场景。


硬核能力五:一站式数据湖治理中心


华为云 FusionInsight 为客户提供一站式数据湖治理中心,助力企业快速构建从数据接入到分析的 E2E 数据治理体系,统一数据标准,加速数据资产化。通过全域数据视图统一信息架构,统一数据标准;通过一站式全栈平台实现 30+异构数据源的高效数据集成;拥有开放完备的安全体系,数据分级分类,统一安全认证。


通过以上五大“硬核”能力的加持,华为云 FusionInsight 新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!


技术产品好不好,要用案例来说话


事实上,华为云这种“稳定第一”的表现,在很多权威榜单中也有体现,例如连续四年上榜工信部中国大数据企业 50 强,连续三年入围 Gartner Magic Quadrant for Data Management Solutions for Analytics,在中国区厂商排名第一。


在技术受到权威机构认可的同时,华为云 FusionInsight 也是“最懂行”的大数据解决方案。截至 2020 年 6 月底,华为云大数据已服务了 60+个国家和地区、3000+客户,覆盖政府、金融、运营商、电力、医疗、制造、互联网等众多行业。


在政府领域,国内 50%的智慧城市都有华为云 FusionInsight 的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。


在某市,华为云 FusionInsight 联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。


在金融领域,国内 50%的 TOP20 金融客户(含银行、证券、保险等)均已使用华为云 FusionInsight 构建其大数据平台。某行使用华为云 FusionInsight 构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行 BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率 10 倍,存储周期提升 2 倍,资源利用率最大可达 90%,加速银行数字化转型进程。


在运营商领域,国内三大运营商均使用华为云 FusionInsight 构建其大数据平台。广东移动基于华为云 FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。


在交通领域,深圳地铁在 6、10 号线采用华为云 FusionInsight 构建大数据分析平台,打造领先的 5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…


以及在环境保护方面,青海绿能数据有限公司基于华为云 FusionInsight 构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供 25 类 47 项数据服务,推动 28 座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电 15 日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。


同时,华为坚持“自己的降落伞自己先跳”,华为集团 IT 通过 FusionInsight 构建 OneData 大数据集群,实现大数据平台在大规模场景下的开拓,OneData 集群其规模已至 1 万+节点;同时,实现了统一的数据管理服务,在菩提海 UniDB 产品中,通过逻辑统一方式,把 50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的 PB 级数据分析处理需求。一个基于 FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团 IT 广泛使用,未来可期!


以上只是“冰山的一角”,华为云 FusionInsight 一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用!


底子硬才是真的硬道理


可以看到,无论是技术实力还是市场表现,华为云都做到了行业第一。


那么,在已有的成绩面前,华为云能否“守得住”?这方面,从已有的动作看,差异化这个主要的特征之外,华为云维持自身地位还有三个方面的竞争优势。


1. 长期的技术沉淀


华为云 FusionInsight 大数据自 2009 年就开始投入研究,最早在 2014 年推出商用产品,现在,MRS“大快融稳”的云原生数据湖、DWS 企业级数据仓库以及一站式数据湖治理中心 3 项硬核能力都建立这样的长期积累之上,缺乏技术积累和理解的平台显然无法完成这样的升级。


2. 对行业、对业务、对企业实际的理解


大数据服务必须建立在业务深度理解的基础上,而这不是一朝一夕能完成的,需要靠不断的探索和磨合。华为的市场第一既是一种竞争结果,也代表着它拥有最广泛和深度的业务实践机会。


3. 丰富而深厚的生态合作


当下,华为云积累了从基础设施到分析应用等领域的合作伙伴群体,包括多行业 800+ISV 等,现在,其为合作伙伴提供了 100+开放 API 接口,技术生态化带来的大数据应用将更加丰富。


可以看到,三个都需要时间和经验积淀的优势,让华为云大数据有了既深且宽的竞争“护城河”。


点击关注,第一时间了解华为云新鲜技术~


发布于: 2020 年 11 月 12 日阅读数: 245
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
再拔头筹,FusionInsight为华为云大数据打造硬实力