焱融科技为国家重点实验室打造海量高性能存储
中国科学院大气物理研究所大气科学和地球流体力学数值模拟国家重点实验室(英文缩写 LASG)是国家级重点实验室。LASG 主要研究方向为地球气候系统模式的研发与应用;天气气候动力学理论、气候系统变化规律及其异常发生机制;天气气候可预报性、气候预测的新理论和新方法;地球流体宏观演变规律和机理。LASG 是蜚声国内外的大气科学和地球流体力学研究机构。
地球系统模式是模拟气候系统行为和变化的重要工具,在气候研究中扮演着重要的角色。地球系统模式主要由大气环流模式、路表过程模式、海洋环流模式、海冰模式等圈层模式组成,并通过耦合器(CPL)将它们组合在一起。中国科学院地球系统模式(CAS-ESM )是复杂巨系统大规模高性能计算的典型应用,是我国高度自主化研发的完整地球系统模式。CAS-ESM 是开展地球系统数值模拟必不可少的载体,集对地球各圈层运动规律认识之集合,将地球各个圈层及其相互作用综合起来,用系统科学的观点去研究认识地球,从而成为地球科学研究的基础工具之一。
地球系统模式:典型的高性能计算
正是由于 CAS-ESM 极其复杂,计算量巨大,对高性能计算提出了极高要求。随着地球系统模式分量模式的增多、复杂度和模式分辨率的提高,高效率计算成为关键技术。
当前地球系统模式的科研工作主要面临两方面的挑战:一是模式的研究从单一的物理气候系统模式走向系统的、复杂的地球系统模式,需要综合大气、海洋、冰雪等系统模式进行定量研究;二是系统模式研究对于高分辨率模式的需求。在新形势下,地球(气候)系统模式的研发工作给计算机技术的发展提出了新的需求、新的挑战。该实验室在建造新型数据中心的过程中,性能、可扩展能力、海量文件支持、安全性等方面是重点考虑的因素:
- 在性能方面,CAS-ESM 系统包含了众多的分(子)系统模式,单一分(子)模式计算过程中需要数百乃至上万个处理器核进行并行计算处理,同时也需要存储系统能够提供相应的 IO 性能,对于单个存储节点还是集群,都提出了较高的性能需求;
- 在可扩展能力方面,在当前的效能计算体系中,该实验室需要搭建数 PB 级的高速并行可扩展存储,主要用于地球模式系统,其中包含着不少图片、专业气象文件等非结构化数据。传统的存储体系很难支撑海量的数据存储需求,更难以跟上数据激增的步伐,存储平台的可扩展性也受限;
- 在海量文件支持方面,根据不同系统模型,每次模型运算都将产生 TB 级的数据;并且科研工作者在进行不同课题研究时也会产生数十乃至数百 TB 级数据,存储系统需要足以支撑大量的科研成果数据;
- 在安全性方面,工信部在持续建立健全行业数据安全保障体系,所以实验室在建立存储平台过程中也要时刻关注数据安全性问题,在不断探索新技术研究应用过程中,逐步实现安全防护技术的智能化和自主可控。
借助引领性的基础设施 颠覆技术创新
为进一步建设先进全面的科研模式,实验室选择与焱融科技达成此次合作,共同建设高效的国家级实验室数据存储平台,为科研工作长足发展奠定基础。
业务平台建设方案架构图
通过焱融科技所提供的存储解决方案,该实验室搭建起大规模高速并行可扩展存储的数据平台,满足了基础研究需要的同时,有了更多性能方面的提升。
实现性能及容量的线性扩展
传统 NAS 存储容量及性能的扩展受制于控制器,横向扩展能力较差,无法实现线性扩展。而通过 YRCloudFile 将多台存储服务器上硬盘的读写能力聚合形成聚合带宽,搭建通用 X86 服务器,实现软硬件解耦,可按需部署,灵活扩展,使存储系统总体性能呈线性增长。实验室后续可通过增加服务器的方式,提升整个存储系统的容量及性能。本次部署的焱融存储集群即采用此种模式,在客户数据中心原有硬件的基础上部署焱融 YRCloudFile 分布式存储软件组成存储集群,提供数 PB 级的使用空间。
海量文件支持
作为数据的核心层,焱融 YRCloudFile 具备海量结构化和非结构化数据管理能力,海量小文件操作和大文件处理的能力。不同科研人员可根据业务需求采用相应存储接口对接到计算平台,YRCloudFile 所具备的大集群资源管理功能 QoS、配额管理等服务,能够更好的提升整体存储服务能力。
满足数据平台全方位需求 数据管理效能大幅提升
此次项目建设中实验室充分利用现有硬件,通过分布式文件存储 YRCloudFile 搭建存储集群,采用全对称架构充分发挥硬件性能。提供全局单一文件系统和统一命名空间存储服务,便于平台管理和业务使用。不仅解决了实验室科研系统的高并发访问数据、数据共享安全及数据可扩展能力的难题,还充分发挥了 YRCloudFile 高性能、高扩展、高可用的特性。在提升海量文件数据存储能力的同时,实验室也实现了全生命周期的数据管理能力,保证百亿级文件操作性能提升的同时,全面提升数据管理效能。
版权声明: 本文为 InfoQ 作者【焱融科技】的原创文章。
原文链接:【http://xie.infoq.cn/article/35aaf0dad8387b58d3c35b9ec】。文章转载请联系作者。
评论