XEOS 与 JuiceFS 完成联合认证，携手共建大模型私有化存储方案

近日，XSKY 星辰天合两款存储系统与 Juicedata 旗下 JuiceFS 系统完成了产品兼容性适配互认证。

在当今的人工智能时代，尤其是在大模型的发展和应用中，面向 AI 训练过程中的数据流存储和访问能力的重要性日益凸显。不论是训练过程中的 Checkpoint 的读写性能，还是海量数据集的管理和加载性能，都对底层存储系统提出了极高的要求。频繁的 Checkpoint 操作需要存储系统具备高吞吐量和低延迟，以确保训练过程的稳定性和效率。此外，面对庞大的数据集，存储系统不仅需要提供高效的数据管理能力，还必须具备快速的数据加载性能，以支持模型的实时推理和动态调整。

然而，随着数据规模的不断扩大、成本压力的增加，以及对数据自主性的日益重视，越来越多的企业开始寻求能够在私有化环境中实现大模型训练和推理的解决方案。

大模型带来了以下几个显著特点和下云的挑战：

• 海量数据存储需求

大模型的训练和应用涉及海量的数据，传统的存储系统在成本、性能和扩展性上往往难以满足这一需求。企业需要一种能够提供低成本、高效率的存储解决方案，以应对海量数据带来的压力。

• 高性能和兼容性要求

大模型的训练和推理需要高性能的数据访问能力，同时由于许多现有应用依赖 POSIX 接口，因此存储系统必须具备高兼容性的 POSIX 访问能力。这不仅有助于减少应用迁移的成本，也能够在大模型的训练和推理过程中提供稳定、高效的数据服务。

• 平滑迁移和架构复用的需求

企业希望在构建私有云时，能够采用与公有云同类的架构，以实现平滑迁移并最大限度地复用现有的基础设施和应用。这不仅可以减少从公有云切换到私有云过程中带来的开销和复杂性，还能够确保企业在不同环境之间自由切换，保留灵活性和扩展性。

在此背景下， XEOS 与 JuiceFS 的联合认证标志着私有化大模型存储解决方案的一次重大突破。JuiceFS 作为一款兼具高性能和高兼容性的分布式文件系统，能够为大模型提供可靠的存储服务。而 XEOS 作为一个智能数据存储管理平台，能够高效管理和优化存储资源。这两者的结合，为大模型的私有化部署提供了一个完美的解决方案，使得企业能够在私有云环境中构建与云端媲美的 AI 基础设施。

XEOS 介绍

XEOS 是 XSKY 推出的企业级对象存储产品。它支持无缝扩展、跨异构存储系统的统一管理、高性能访问、智能数据管理等功能，帮助企业轻松构建安全可靠、高性能、低成本的对象存储平台，满足日益增长的海量数据管理需求。

XEOS 对象存储架构图

XEOS 是一个全面的对象存储解决方案，特别适用于 AI 场景的数据湖构建，具备无限扩展能力、高性能访问、强大的数据生命周期管理和金融级稳定性。它支持分布式元数据和存储节点，轻松扩展到千亿级容量，确保快速读写和高效存储管理。作为的对象存储产品，XEOS 经过严苛的企业核心业务考验，展现出卓越的稳定性；通过，保障系统在海量数据和持续高负载的稳定高效运行，是构建安全可靠数据平台的理想选择。

 JuiceFS 介绍 

JuiceFS 企业版是面向海量文件高性能计算场景的分布式文件系统，适用场景包括 AI 与机器学习模型训练、高性能计算等。

JuiceFS 采用“数据”与 “元数据” 分离存储的架构，文件数据储存在所指定的对象存储，而文件元数据（例如目录结构，文件名）则存储在 JuiceFS 自研的元数据服务集群中。

JuiceFS 企业版架构图

JuiceFS 提供多协议数据访问，兼容 POSIX、HDFS、S3 接口，确保强一致性和卓越的 I/O 性能，通过缓存、预读、并发读等策略提升效率，支持数千至数万客户端的并发需求，并可扩展至百亿文件规模。此外，JuiceFS 的企业版具备高可用元数据服务、数据隔离与安全性保障，支持跨云和混合云架构下的数据高效分发，满足模型训练等高性能文件系统需求，简化数据管理和迁移工作。

JuiceFS 在生成式 AI、自动驾驶、量化金融、生物科技等领域已有广泛应用，用户包括 MiniMax、智谱 AI、阶跃星辰、小红书、知乎、Momenta、地平线、滴滴、大疆、深势科技、MemVerge、速石科技等。

 XEOS 与 JuiceFS 深度结合的方案

XEOS & JuiceFS 联合解决方案

在该联合方案中，JuiceFS 提供了高性能文件访问能力，其完全的 POSIX 兼容性使得 AI pipeline 中各阶段的应用都可以共享统一的存储系统，同时为数据访问提供了高性能和稳定性。

同时，XEOS 的全闪和混闪集群分别承担了不同类型的数据存储需求：全闪集群用于需要极致性能的数据处理和 Checkpoint 读写，而混闪集群则用于存储海量数据集，以满足低成本、高容量的需求。通过 XEOS 完善的数据生命周期管理功能，整个方案能够实现数据的智能流动和透明访问，确保在不同应用场景下都能获得最佳的存储性能和资源利用率。

01 卓越的高性能数据读写

XEOS 与 JuiceFS 的结合能够充分发挥各自的优势，提供卓越的读写性能和低延迟访问，特别是在处理大规模模型的训练和推理时。通过优化的数据路径和智能缓存机制，该方案确保了在高并发访问下依然保持稳定的性能输出，满足企业对高效处理海量数据的需求。

02 高可扩展性和低成本

随着 AI 业务的快速发展，存储需求也在不断增加，因此快速扩容能力至关重要。XEOS 提供整池扩容的能力，能够在不影响业务读写性能的情况下，灵活扩展存储资源，确保系统的高效运行。同时，针对 AI 场景中如 Checkpoint 等数据的冷热特征，XEOS 通过其强大的数据生命周期管理功能，实现数据的自动流动和透明访问，将冷数据迁移至低成本存储介质，从而优化存储资源的使用效率，进一步降低整体成本。

03 大规模集群运营经验

随着集群规模的扩大，企业在存储系统的稳定性和可用性方面面临更大挑战。大规模集群中，一旦出现性能瓶颈，排查和优化变得愈发复杂，高并发访问和大数据处理往往会导致系统响应变慢。此外，故障定位的难度增加，升级和扩容操作的风险也随之加大，稍有不慎就可能因为存储故障而影响 GPU 的利用率，进而影响整体业务的连续性。

XEOS 已成功为超过 3000 个企业级私有化部署客户提供服务，积累了丰富的大规模集群管理经验。尤其是在金融和运营商等对可用性要求严苛的场景中，XEOS 以其可靠的性能和稳定性，帮助客户有效应对了运维挑战，保障了业务的连续性和系统的高效运行。

04 成熟的商业化方案

XEOS 与 JuiceFS  的联合方案已经在多个行业和应用场景中成功商业化，展现出卓越的市场适应性和稳定性。JuiceFS 凭借其出色的兼容性和灵活的架构，已被广泛应用于多种 AI 和大数据处理任务中，确保了高效的数据读写和访问能力。

与此同时，XEOS 在金融、运营商等高要求场景中的应用，进一步证明了其应对复杂业务需求的能力和市场定位。

结合了两者优势的联合方案，能够满足不同业务场景下的稳定性和性能要求，为企业提供了经过验证的成熟解决方案，帮助客户在市场竞争中保持领先地位。

 总结

XEOS 与 JuiceFS  的联合方案已经成功落地于多个大模型客户，其中不乏数据量巨大的头部大模型企业。在这些场景中，XEOS 与 JuiceFS  通过结合各自的优势，为大模型训练提供了高性能、低成本的存储解决方案，满足了企业在混合云架构下对数据管理的严苛要求。无论是在超大规模 GPU 集群的分布式训练，还是在高效数据分发和生命周期管理方面，该联合方案均表现出色，显著提升了模型迭代速度和系统运行效率，同时有效控制了存储成本，成为大模型平台构建的理想选择。