写点什么

国际领先!天翼云驭“数”有道!

  • 2024-03-15
    北京
  • 本文字数:945 字

    阅读完需:约 3 分钟

近日,中国电子学会在北京隆重召开科技攻关项目成果鉴定会。鉴定委员会一致认为:天翼云大数据平台研发项目涉及的大数据存储、计算、调度等一系列关键技术,复杂度高、研制难度大、创新性强,总体技术达到国际先进水平,其中分布式存储元数据两层视图管理等关键技术指标达到国际领先水平



此次技术创新成果不仅有效支撑了全国多个省份电信公司的 IT 及业务上云工作,还在数据要素、政务大数据平台、城市大脑等行业领域实现了广泛应用,为行业的数字化转型注入了新的动力。


在计算引擎方面

通过将 Spark runtime 层替换成 Native runtime 层,提供了高效的内存管理、数据交换处理能力;将算子改成 Native 实现,并利用 SIMD 技术加速核心算子处理能力;深度完善基于规则和代价优化的机制,提升引擎的处理效率,相比开源 Spark 新版本性能提升 1.2 倍以上。


在调度引擎方面

设计分区同步共享状态的分布式调度架构替代传统的单调度器、集群联邦方式,更好地解决了集群规模可扩展性、调度效率、调度质量、公平性和优先级、资源利用率等多方面的矛盾,性能及规模较开源相比分别提升了 3 倍和 1.5 倍,实现了国内领先的调度速度和单集群 1.5 万台的规模。多调度器共享整个集群状态,保证任务调度结果的全局最优性;通过资源分区方式,多调度器对不同的资源分区并行调度,提升了可支持的集群规模及调度系统的吞吐量;采用资源分区轮询方式,避免出现调度结果与资源分区的紧耦合,实现最优的任务调度;同时,基于单体调度器增加了多调度器协调工作能力,保障了调度结果的唯一性,避免出现资源冲突导致的调度失败。


在存储引擎方面

天翼云团队结合高性能存储技术,不仅解决了海量文件管理的难题,还大幅提升了数据可靠性等性能。依托 L-RDMA 协议,计算节点与存储节点 RDMA 全互联,实现了“高性能、低成本”的软硬协同的统一大数据存储底座。单客户端在达到 100 万 IOPS 时,时延依然保持在亚毫秒级,单并发写时延达到 70us。这一创新成果不仅提升了存储效率,还为大数据处理提供了更稳定、更可靠的支持。


此次项目获得中国电子学会科技成果鉴定委员的认可,不仅彰显了天翼云在大数据领域的卓越技术实力,也为行业发展树立了新的标杆。未来,天翼云将继续坚持科技创新,不断推动大数据和云计算技术发展,为千行百业数字化转型输送更多新质生产力,为数字经济高质量发展注智赋能。

用户头像

还未添加个人签名 2022-02-22 加入

天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。

评论

发布
暂无评论
国际领先!天翼云驭“数”有道!_云计算_天翼云开发者社区_InfoQ写作社区