NVMe over TCP 高性能文件存储，焱融科技 +Lightbits 让未来照进现实

你真的懂 NVMe 吗？

在说 NVMe 之前，我们觉得有必要先聊一聊 NVM（Non-Volatile Memory），即非易失性内存。从名字上看就知道，NVM 是一种类内存式（访问及寻址方式类似）的设备，它必须具备高速读写数据的能力，但它和普通内存的区别在于 Non-Volatile，即在关机后再打开电源也可以检索里边所存储的数据。这种非易失性内存 NVM 设备有很多种实现，我们常用于服务器的大容量 NVM 是一种闪存，即 Flash Memory。闪存是一种固态芯片，主流的闪存设备使用 NAND 技术来映射数据，这种芯片无需任何外部电源即可维护存储的数据，它的读写速度比内存稍低，但无需借助机械方式进行寻址，因此读写性能远高于机械磁盘，容量也比内存要大，单 GB 成本近年来快速下降，大有成为服务器上高速存储介质主流设备的趋势。

NVMe 协议组成架构

有了设备和协议就可以了吗？

有了 NVM 设备和访问这个设备的协议 NVMe，就一定能享受到这些设备带来的高性能了吗？答案是否定的。

首先要说到的，就是数据传输的问题，数据传输指的就是 NVM 设备到服务器内存之间的传输。外围组件互连 Express（PCIe）是目前使用最多的传输介质。NVM 设备及 NVMe 协议设计之初，也是先面向 PCIe 或 PCI Hub 的。通过 PCI 访问 NVM 设备会有什么问题呢？很容易就能想到，一台服务器上 PCI 接口是有限的，因此也不能接入很多的 NVM 设备，那么容量就会受到限制了。此外，数据中心内其它服务器也很难通过 PCI 访问另一台服务器上的 NVM 设备。这就很大限制了 NVM 设备的使用。

除了 PCI 之外，还有什么方式能进行 NVM 设备上数据的传输吗？当然有，这就是 NVMe over Fabric，所谓的 Fabric 有几种方式，可以是 Fibre Chanel，即目前磁盘阵列中使用的传输网络，或者 InfiniBand。NVMe-oF 使得一台服务器可以通过网络的方式，通过 NVMe 协议直接访问远端另一台服务器上的 NVM 设备，带宽和延时近似于设备插在本地服务器上，这就极大拓宽了 NVM 设备的使用范围。但细心的读者应该很快能反应过来，在现代数据中心，TCP 网络使用更广，因此，NVMe 组织在 2019 年推出了 NVMe over TCP 技术，从而使服务器通过 TCP 网络就可以访问远端的 NVM 设备了。

NVMe over TCP 技术作为创新型技术，从推出就瞄准了通过 TCP 互联的，更广阔的云和数据中心大规模使用 NVM 设备的场景。

其次是访问效率的问题，与 SCSI 等协议不同，NVMe 协议实现了多队列的架构和指令集，更能发挥多核 CPU 服务器的处理能力，使该协议指令集在多核 CPU 服务器上发挥更好的性能，存储系统如果不能针对这些特点进行深入的优化，也不能充分享受到新型介质和协议带来的红利。而针对 NVMe 协议和设备进行的系统级优化，是包括焱融科技在内的软件定义存储厂商需要攻克的难关。

此外，还需要考虑应用访问接口的问题。目前，人工智能、高性能计算系统主要通过文件系统访问非结构化数据，构建以 NVMe 协议为基础的，以高带宽、低延时为核心要求的高性能文件系统是应用系统的核心要求，这也是应用场景驱动创新的出发点。

YRCloudFile+LightOS 联合解决方案

LightOS 是以色列技术型存储创新企业，焱融科技与 Lightbits 联合方案，可以为用户提供 NVMe 多队列并发访问的极致性能，最重要的是，能将 NVMe 设备通过 TCP 方式，组成高性能分布式文件系统，向上层应用提供文件访问服务。对上层应用而言，完全无需关心底层存储细节、数据如何放置，即可使用高 IOPS、高带宽、极低延时的文件共享访问服务。

联合方案参考架构

焱融科技与 Lightbits OS 对参考架构进行了性能、可靠性、可用性的测试，测试架构如下所示：

各个服务器之间使用 25Gb 以太网进行连接，使用三台服务器搭建 YRCloudFile 集群，在常用的 TCP 网络条件下，单个客户端节点的 4K 随机读 IOPS 可达 38 万，写 IOPS 达 30 万，读写延时均低于 400us。多客户端访问，各客户端性能互不干扰，集群可为每个客户端稳定提供相同的功能。

在大 IO 顺序读写测试中，单客户端读写带宽均达到 2.8GB/s，接近 25Gb 网络带宽上限。

使用 vdbench 模拟 200,000 个不同文件大小进行读写带宽测试，对 4K 小文件的读写性能为 1280MB/s 和 1040MB/s，对 128KB 大文件读写性能可达 2800MB/s。

联合方案优势

YRCloudFile+LightOS 联合方案，具备以下优势：

• 只需借助现有的以太网络，即可快速搭建基于全 NVMe 的分布式文件系统，无需购买额外的专用交换设备和网卡

• 多个上层应用服务器可通过文件接口共享访问底层海量非结构化数据

• 业界一流的文件系统随机读写、顺序读写性能

• 数据去重压缩，TCO 减少 20%-50%

• 单集群可达百 PB 空间，承载百亿文件。满足海量的文件数量与空间需求

• 可同时提供文件存储和块存储接口，满足不同业务接口的需求

High performance file system is critical infrastructure facility to applications like AI. YanRong Tech and Lightbits Lab cooperate closely, announce the NVMe/TCP file system with high performance and massive small files support, providing an innovative solution to all customers and partners.

------ Alfred Chase Hui， Lightbits 亚太区销售总监

该联合方案非常适用于人工智能、高性能计算、基因科学、影视渲染、气象分析、资源勘探等依赖高性能文件系统，以及拥有海量非结构化数据的应用场景，能有效帮助客户提升业务系统对非结构化数据的访问性能，从而改进业务运行效率，解决数据分析的系统瓶颈。

如需获取解决方案完整版本，查看推荐架构以及参考性能指标，请发送邮件联系我们：sales@yanrongyun.com。

Lightbits Labs

成立于 2016 年的 Lightbits Labs 正在全球范围内重塑现代云基础设施。公司的使命是重构存储和网络在云数据中心的部署方式。Lightbits 的软件定义分离式存储解决方案为企业私有云、软件即服务(SaaS)和基础架构即服务(IaaS)提供商节省大量时间和成本，同时实现更高的应用程序性能和公共云级别的可扩展性。Lightbits Labs 最先认识到全 NVMe 高性能存储介质及协议与标准 TCP 网络相结合所带来的机会。其 LightOS®软件和 LightField™存储加速卡是第一个提供在标准 TCP 网络上运行的全局闪存转换层(GFTL)的 NVMe/TCP 解决方案。

焱融科技

焱融科技是一家以软件定义存储技术为核心竞争力的高新技术企业，在分布式存储等关键技术上拥有自主知识产权，是高性能文件存储和容器存储的领导者。焱融科技核心产品 YRCloudFile 在全球 IO500 性能测试中，进入世界前六。同时，YRCloudFile 是国内首个进入 CNCF Landscape 的容器存储产品。焱融科技针对各行业业务特性，打造个性化行业解决方案，提供一站式的产品与服务。焱融科技系列产品已服务于人工智能、金融、政府、制造业、互联网等行业的众多客户。了解更多焱融科技信息，请访问官网http://www.yanrongyun.com。