写点什么

浙大材料学院高性能存储实践,加速 AI 新材料科研创新

作者:焱融科技
  • 2023-11-03
    北京
  • 本文字数:2020 字

    阅读完需:约 7 分钟

浙大材料学院高性能存储实践,加速 AI 新材料科研创新

科学研究是一个不断猜想、不断检验的过程,涵盖了物理学、生物制药、新材料等一系列学科。近年来,AI 技术与科学研究深度交叉融合,催生了 AI for Science(AI4S)这一重要理念,为我们带来科研范式的变革和新的产业业态。


AI 驱动的材料研发分析和性质预测已成为材料研究的新手段。可以从不同性能指标维度对材料进行多层次研究,模拟材料在各种条件下的性能演变规律、失效机理,甚至可以模拟超高温、超高压等极端环境下的材料性能,进而实现材料性能的改善和设计的优化。


一方面,越来越多维度的实验和理论计算数据加入,材料领域通常采用的高通量计算、第一性原理、蒙特卡罗等数据算法将持续迭代;另一方面,AI 驱动的材料开发新范式。综上,材料数据的高效存储成为必不可少的基础条件



浙江大学材料科学与工程学院,是中国最早从事材料科学与工程研究以及人才培养的单位之一,也率先将 AI 技术与科学研究深度交叉融合,通过 AI + HPC + 物理模型方案,突破计算模拟到实验需求的瓶颈。AI 配合管理平台全面提升材料研发效率;结合高通量计算,加速材料筛选,促进靶向设计新材料的形成。


其中,焱融分布式存文件存储系统 YRCloudFile 作为基础应用系统参与到材料日常的设计中,为材料工程提供海量数据存储和高性能数据服务,帮助客户在多尺度建模计算中完成从材料到器件的系统研发,再将建模结果通过高通量计算完成材料全空间快速筛选,定向设计新材料。结合高精度实验表征技术,形成计算设计与实验验证循环优化的材料设计。


材料工程数据特征及存储需求分析

在材料工程领域中,需要通过深度学习和机器学习算法,对大量的材料数据进行分析,预测材料的性能、结构和相互作用,从而指导材料设计的方向和参数选择。


此外,深度学习和机器学习算法还可以自动化材料的优化过程,通过不断迭代和学习,使得材料的性能不断提升。这些业务阶段对存储在海量小文件下的性能表现有着苛刻的要求。


通过引入人工智能技术,凭借其强大的数据处理和算法优化能力,快速筛选出具备理想性能的候选材料,减少了试错和试验的成本和时间。这其中多个环节涉及多维度数据流动:


  • 处理大规模的数据,包括材料的实验数据、模拟数据、文献数据等,从这些数据中挖掘出有价值的信息和规律,为材料研究提供指导和决策支持。

  • 数据的可视化和统计分析,帮助研究人员更好地理解材料数据的特征和趋势。

  • 提供高效的信息检索功能。人工智能技术通过自然语言处理和知识图谱构建,实现智能检索和推荐功能,帮助研究人员快速获取所需的材料信息。


综上所述,存储在材料研发中阶段承担重要角色。除了需要保证超高性能数据存储支持,还需要强大兼容性以满足无缝对接到数据分析、算法研发、算法推理等业务平台中。



焱融科技作为一家数据存储服务的高新技术企业,采用分布式存储架构为用户及应用提供高效的数据存储和管理服务,为浙江大学材料学院提供了高性能存储方案 —— 焱融分布式文件存储系统 YRCloudFile (以下简称 YRCloudFile ),为 AI+科学研究领域打造典范数据存储解决方案。



AI 新材料存储方案架构图


首先,YRCloudFile 通过大数据组件对接高通量计算平台,将存储资源集中管理。YRCloudFile 分布式存储架构具备高带宽、高 IOPS 优势,并通过内存缓存的元数据管理、轻量级 open、lazy close 以及 batch commit 等技术优化,显著提升 YRCloudFile 在处理海量小文件时的性能表现,单集群容量满足百亿级小文件。满足 AI 新材料在高通量计算海量小文件场景需求。


对于 HPC 平台,YRCloudFile 提供大数据组件对接,支持大规模数据的高速读写和并行计算,实现了高并发的数据访问和处理能力,满足浙江大学材料学院可以高效地进行大规模计算任务的要求,加快研究进展


对于 AI 平台,通过 YRCloudFile 私有客户端对接。采用独特的 IO 流程优化和并发 IO 处理应对高并发的 IO 读写。此外,YRCloudfile 支持持久化容器数据存储,使数据存储更加灵活和可扩展。满足 AI 调度平台无缝对接需求,其完善的权限控制及资源控制功能,让用户轻松达成对各业务阶段、不同业务组之间的资源管控。


YRCloudFile 采用了高速网络互连技术 InfiniBand 网络,以实现存储和计算节点之间的快速数据交换,进一步提升了存储系统的性能。为了方便用户运维,YRCloudFile 提供了统一的管理平台。


该管理平台可以用于集中管理存储资源、监控性能、进行容量规划和故障诊断等。浙江大学材料学院可以更好地管理存储环境,提高工作效率。在数据安全性及可靠性方面,通过对数据进行双副本的冗余处理,能够保证业务数据数据的安全。



AI 技术的发展为跨学科融合创新带来巨大机遇,同时,也对人工智能基础软硬件和科研生态带来诸多新挑战。焱融科技助力 AI4S 科研创新与应用,其自主研发的高性能分布式文件存储系统 YRCloudFile 广泛支持科研生态联合创新。


科研的道路充满荆棘,它的发展需要各行各业的从业者打破壁垒、凝聚共识,拨云见日的路上,焱融科技愿陪伴每一位专注科研的从业者见证这场发生在眼下的科技革命,从花开花落走向硕果累累

用户头像

焱融科技

关注

软件定义的混合云统一文件存储 2020-05-29 加入

焱融科技是一家以软件定义存储技术为核心竞争力的高新技术企业,基于软件定义的混合云统一文件存储为企业客户提供高效存储、数据管理和应用服务,打造面向云+AI 时代的高性能存储。

评论

发布
暂无评论
浙大材料学院高性能存储实践,加速 AI 新材料科研创新_焱融科技_InfoQ写作社区