XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要
![XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要](https://static001.geekbang.org/infoq/00/00f0263b35629dc9946143077db76f2c.jpeg)
5 月 17 日,英特尔存储技术峰会在北京顺利举办。作为英特尔长期的合作伙伴,星辰天合受邀参加了此次峰会。星辰天合 CTO 王豪迈作为特邀嘉宾之一,作了主题为《LLM 存储:架构至关重要》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战,与来自阿里云、英特尔等公司的诸位业界专家共同探讨了人工智能时代存储系统的发展愿景与技术趋势。
![](https://static001.geekbang.org/infoq/e1/e1e6e4a173fa19344b22ddca2da1b915.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
人工智能时代的存储系统技术趋势
大模型时代企业竞争的核心要素就是数据,在数据处理和流通的过程中,数据存储是不可或缺的重要一环,而高效可靠的存储系统将成为人工智能的重要底座。
此次英特尔存储技术峰会,英特尔邀请了业界合作伙伴、专家等深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括如何发挥高性能存储介质的性能、如何利用新一代互联技术重构存储系统、如何进行下一代存储软件系统创新等等,旨在通过多方协作,为客户构建拥有极致性能、安全可靠、高可扩展性和高能效的新一代存储系统。
XSKY 主题演讲:LLM 存储,架构至关重要
在 XSKY 主题演讲环节,XSKY CTO 王豪迈首先介绍了 CPU 和 GPU 在处理大规模 AI 应用中的不同表现。CPU 内存系统优化了低延迟和深度缓存层次结构,适合处理延迟敏感的代码,例如链表操作。相比之下,GPU 内存系统则优化了高吞吐量和高带宽缓存,更适合数据和数学密集型代码,例如向量归约。为此,高带宽存储(HBM)成为解决存储瓶颈的关键技术之一,它能够显著提升存储系统的性能,从而满足未来高性能计算和 AI 应用的需求。
王豪迈指出,HBM 是存储转型的驱动力。在大模型训练中,存储系统需要处理的大量数据写入,这使得存储写带宽成为决定性能竞争力的关键因素。特别是在多模态场景中,大量小文件的处理对底层存储性能是一个重大挑战。
![](https://static001.geekbang.org/infoq/2d/2d59bc7d832a8640c58e5d17365e8149.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
现有的传统 NAS 存储架构以及并行文件系统架构,都有对应优势和适应场景,但是都存在一些架构的限制,使得在一些问题上应对困难,比如在大语言模型的场景下,前者会遭遇写放大的严酷挑战,而后者在应对多模态场景中的海量小文件时,可能会碰到性能不足的问题。
![](https://static001.geekbang.org/infoq/01/0183cf74ba271f795830d2b9c9d033ae.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
王豪迈表示,星辰天合最新发布的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)将是应对大语言模型存储需求的理想架构,它由于采用了全共享架构,因此在针对慢盘、亚健康网络问题时,能在 100 毫秒内快速切换,以保证系统的稳定运行;由于采用了单层 SSD 架构,可以借助 QAT 加速数据压缩/解压缩的强大能力,采用大规模的 EC+压缩,从而实现 100%的存储空间利用率;也由于采用了端到端的 NVME,因此能够实现 100 微秒的低延迟。
![](https://static001.geekbang.org/infoq/e2/e2839045ebb5a0f06f29bb3fea0587ff.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
此外,基于 XSEA、针对大语言模型存储需求,在即将发布的新产品中,星辰天合将会通过全局 EC 和数据压缩技术,实现写放大的 100%降低,提升存储效率。
XSKY 在存储架构上的这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。
展望未来,王豪迈表示,随着 AI 技术的发展,存储系统需要处理的数据量和复杂度将不断增加,优化存储带宽和改进存储技术是应对这些需求的关键,XSKY 将继续致力于存储技术的研发,通过架构创新和不断的技术迭代和优化,为客户提供更高效、更可靠的存储解决方案。
他特别强调了 HBM 技术在这一过程中的核心作用。通过优化 HBM 技术,可以大幅提升存储系统的性能,以应对未来高性能计算和 AI 应用的需求。他认为,只有通过持续的技术创新和架构优化,才能在快速发展的 AI 和大数据时代保持竞争优势。
联手英特尔 持续推动存储架构创新
作为领先的专业软件定义存储企业,星辰天合致力于与芯片、操作系统、数据库、人工智能等上下游企业合作,以持续推动存储架构的创新。
作为英特尔的长期合作伙伴,星辰天合始终紧跟英特尔的技术发展进行创新和研发。在星辰天合最近发布的新一代全闪分布式存储系统星飞 XINFINI 9000 中,就采用了英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能,在降低了高吞吐环境下的读写时延的同时,也减少了存储软件栈中各进程的资源争用以及相互间的影响。
借助英特尔存储技术峰会这样的技术交流平台,星辰天合将会与英特尔以及更多合作伙伴,围绕人工智能、大语言模型等新生应用的存储需求,基于当前及未来的英特尔至强可扩展处理器的能力,进行进一步探索,通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力,支撑共同的客户从数据中获得更多、更富价值的洞察。
评论