RDMA 打造存储利器

导读

在数据不断增长的时代，数据的快速处理对信息的有效利用至关重要。目前数据中心无论对存储读写带宽还是延迟都有极致的要求，例如在线搜索、移动、游戏，视频直播领域都需要以非常快的速度响应用户的请求，数据中心内任何一环导致延迟，都会对用户体验产生极大的影响。

在高性能计算领域，RDMA 技术很早就已经得到了验证，并且进行了一定范围的应用。随着大数据与人工智能的高速发展，RDMA 技术也将在企业内得到推广。

走进 RDMA 世界

在 TCP 的网络世界里，收到一个网络数据包，要经过网络层和传输层，最后才能够被应用层处理。网络层和传输层会消耗 CPU 资源，由于 CPU 还要处理其他的计算任务，这一方面使得网络传输性能收到影响，同时也会影响其它计算任务的性能。此外，在进行传统的 TCP 协议处理时，所有的数据都需要在用户缓冲区与内核缓冲区之间进行多次复制，需要消耗极大的内存带宽，同时带来一定的延时。

RDMA 技术就是为了降低网络传输中服务器端数据处理的延迟而产生的。服务器网卡收到一个数据包，在网卡硬件上就可以完成网络层和传输层的解析，直接把数据传递给应用层，不需要 CPU 的干预，从而释放内存带宽并减少 CPU 消耗，进而提升应用系统性能。

为了有效利用 RDMA 技术的高带宽和低延迟优势，焱融云存储团队调研了支持 RDMA 技术的三种不同的网络协议:

• Infiniband(IB): 使用 RMDA 专用网卡与交换机，从硬件级别全面支持 RDMA，保证传输可靠性

• RDMA OVER Converged Ethernet(RoCE):基于现有的以太网实现 RDMA，底层网络包头部是普通的以太网包头，上层网络包头部是 Infiniband 包头，因此 RoCE 只需要专有的支持 RoCE 网卡，就可以在标准以太网基础架构(交换机)上实现 RDMA

• Internet Wide Area RDMA Protocol(iWARP): iWARP 直接将 RDMA 实现在了 TCP 上，这允许在标准以太网基础架构(交换机)上使用 RDMA，这种方案需要配置支持 iWARP 的特殊网卡

对比三种协议实现，Infiniband 性能最好，但需要额外配置较多的专用设备，系统整体升级成本较高；RoCE 只需要替换专用的网卡设备，在获取性能优势的同时，将成本控制在一定范围；iWARP 成本最低，但与 TCP 臃肿的协议栈相关联，性能上提升有限。

焱融云分布式存储完美支持 RDMA

要实现支持 RDMA 网络的通信方式，需要使用 RDMA verbs API(OFED 提供了包含 libibverbs 和 RDMA-CM 等用户态库函数)编程，对原有的通信模块进行改进，最终实现的网络传输模块既能兼容最初的 TCP 通信方式，又可以同时向客户端提供 RDMA 连接服务。

焱融云技术团队在焱融高性能分布式存储里实现了 RDMA 传输的功能，支持通过 InfiniBand，RoCE 或 TCP 来实现客户端到存储服务端的数据交互，以及存储集群服务器之间的数据传输。

性能大幅提升

在性能上，我们采用 Mellanox connect-X 系列网卡以及 Mellanox 交换机基于以太网物理链路测试了 RoCE 的性能。从测试结果来看，相对于 TCP/IP 通讯协议, 小文件读写性能有了质的提升。可以看到，基于 RDMA 技术的读写性能比基于普通交换机 TCP 传输的性能最高可提升 4 倍。尤其是在小数据包的读写上，其性能优势更为明显。

以上数据是基于 RoCE 方式实现的 RDMA 传输，如果使用专用的 InfiniBand 设备，其性能还会进一步提升。有了 RDMA 这个利器，焱融云分布式存储在高性能计算、AI 人工智能等领域将更具优势，满足用户在这些业务中对性能的更高要求。

在一个又一个的技术挑战面前，在追求卓越的道路上，焱融云从未止步。