华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

    8月31日，华为云举办TechWave大数据专题日，围绕“大数据技术普惠创新，释放千行百业数据价值！” 主题，从金融、运营商等行业在大数据创新的实践，顶级高校的大数据顶尖人才培养和科学研究，以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面，以产学研深度融合的方式展开分享和探讨。专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！





大数据技术普惠创新，释放千行百业数据价值

    上世纪90年代至今，人们经历了PC时代、互联网时代、移动互联网时代，当前正在迈入智能数据时代。随着技术的演进，数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高，同时，对数据融合分析要求越来越强烈。



​



    华为云人工智能领域总裁贾永利表示，“为了应对企业应用大数据面临的各种挑战，华为云推出了智能数据湖FusionInsight，围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、GaussDB(DWS)数仓、DAYU数据运营等产品，并由华为云博士天团进行详细解读。



    同时，为了响应政企客户在数据仓库方面对时效性的需求，专题日还重磅发布了GaussDB(DWS) 实时数仓新品，其具备快、易、简、省四大特点，具体如下：

• 快：实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库，并可线性扩展。

• 易：支持基于SQL完成复杂流式计算语义定义，简化开发。以Druid监控的一个场景为例，仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。

• 简：实现了1 = N。在一个平台内，同时实现Flink/Spark Streaming（流数据处理）+Druid（流数据预聚合）+InfluxDB（时序数据处理），简化了开发和运维工作。

• 省：时序数据经过实时数仓的自适应压缩算法，最高可达40:1的压缩比，将多维度行列存储优化，数据冷热温自动分区，极大地减少存储空间，节省用户成本。



​

华为云GaussDB(DWS)实时数仓，适用于IoT和运维监控场景，已经在华为流程IT运维大数据平台上线使用。

工商银行、广东移动分享大数据创新实践

    大数据专题日中，工商银行、广东移动作为行业的领军者，分别分享了基于华为云FusionInsight的大数据创新实践。



​

    工商银行软件开发中心总经理刘承岩表示：“在智能化阶段，我们引入了华为云FusionInsight、GaussDB等产品，搭建了自主可控的大数据云平台，解决了大数据全场景生态化应用的存储、算力和算法挑战，支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设，数据智能服务由事后快速演进到事前、事中的阶段；在生态化阶段，我行进一步深化和华为云的合作，实现大数据云平台和华为云Stack云基础设施的融合，进一步提升大数据云平台的高可用和弹性灵活扩展能力，全面支撑数据**的生态化建设，更好的服务于我行数字工行转型！”



​

    同时，中国移动通信集团广东有限公司信息系统总经理谭丽丽表示：“为更好释放运营商大数据的强大生产力，用好数据、技术等资源，提高广东移动大数据平台的能力，广东移动基于华为云FusionInsight构建智慧**，积极创新面向个人客户的应用服务，联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用，全力推动5G+大数据，服务百姓、融入百业，更好地满足广大客户对美好数字生活的需要！”

清华大学：产学研深度融合，培养大数据领军人才





    清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为，大数据作为一种新型战略资源，其运用将改变人们的传统认知，对大数据开展持续深入的研究，不仅将引发学科建设、科学研究等方面的深刻变革，还将极大的推动人才培养和教师队伍建设。未来，清华大学将持续不断的培养大数据领域的专门人才，在数字中国、数字经济、新基建等重大领域，让大数据人才“学以致其道，算以致其用”。同时，依托大数据研究中心，持续与华为等企业一起，创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合， 打造顶尖的大数据科学研究团队，突破大数据关键领域与技术，培养一批有水平，有远见，有担当的大数据领军人才，为社会繁荣发展做出贡献！

华为云FusionInsight引领全球大数据技术发展

    华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。



​

    华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台，其主要有以下四个特点：

• 大集群：支持单集群2万节点。华为自研Superior超级调度器，可以调度2万+节点规模；单跨机房部署，解决空间不足；业务自动感知；支持滚动升级，业务运行0中断，用户体验无感知。

• 湖仓一体：批处理和交互式查询融合， “0”数据搬移。基于HetuEngine组件实现交互式查询，数据“0”搬迁；资源基于YARN进行统一调度，资源利用率高 、成本更低；支持多租户，多部门业务任务并行处理。

• 实时数据湖：数据T+0实时入库、消费、分析。数据增量更新入库：基于行级Delta文件，IO小，面向实时更新优化，T+0时效；支持ACID事务，确保数据一致性，多方并发读写数据；Carbon支持索引，精确点查比Parquet性能提升100倍，1PB数据精确点查30内响应。

• 一个企业一个湖：集约高效、易管理。资源利用率高：湖内全量数据批、流、交互式多引擎融合，多租户权限隔离，统一资源调度，资源利用率提升至90%；分析效率高：数据在统一数据湖内，数据流转链路短，分析效率高；易管理、易维护：统一集群，一个版本；滚动升级，业务“0”中断。

CarbonData释放海量数据价值 尽显数据湖之美

    华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。



​

    其面对复杂业务场景可实现全局一份数据到处使用，免去数据搬迁的困扰；面对海量数据的查询使用，针对性优化了查询加速，可实现PB级数据30秒内响应；在时间就是金钱的信息时代，时效性的突出优势被企业所看好，同时CarbonData支持大数据更新，可实现数据T+0实时入湖，优化了传统T+1、T+2的可见时延。    

GaussDB(DWS)新一代、全场景、云数据仓库

    华为云GaussDB(DWS) 总经理叶涛分享了数据仓库的大、快、稳等特性。



​

• 大： 分布式架构、高扩展，容纳海量数据和业务

• 快：聚合海量算力、最优效率，导入和分析快如闪电

• 稳：多层备份、多级保护，实现数据无忧、持续可用

DAYU一站式数据运营，管好数，用好数

       华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU，协同伙伴，使能“从比特到信息”的价值发现，释放数据之美，助力企业管好数，用好数。



​

    其核心特点如下：

• 全域联邦数据资产管理：支持超过30+的数据源对接，形成数据融合协同，同时也不破坏原有的IT系统建设，支撑达到“立而不破”的效果。

• 开放的架构体系：DAYU围绕数据使用，今年重构了整体架构，重心面向伙伴协同，打造开放体系，提供分层API接口供伙伴调用，包括基础的集成开发，元数据管理、安全管理，数据开放，以及高级的质量管理，数据模型，资产运营等，伙伴可以根据自身系统和业务特点按需集成；

• 共享型行业资产模型：在资产运营管理框架基础上，采用模型驱动的理念实现资产的一键注入、导出、自动化管理，数据资产化效率实现3倍提升，支撑伙伴快速构筑行业数据资产生态。

    此外，DAYU围绕数据目录，资产地图，数据血缘，打造了进阶式的数据资产管理体系。在数据安全方面，DAYU从最开始就围绕数据规划了完善的安全管理能力，包括权限管控、合规审计、敏感发现、隐私保护和风险管理，让用户放心用数。



    目前，华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业，已为全球60多个国家和地区的3000多家政企客户提供服务。未来，华为云FusionInsight将与800多家合作伙伴一起，携手客户创新应用实践，基于FusionInsight智能数据湖构建领先的数据基础平台，实现一企一湖，业务洞见更准，价值兑现更快。让政企用户更方便快捷高效地用好数据，加速数字化转型升级。