金融数据处理新策略：ScaleFlux CSD 的优化之道

利用硬件压缩技术缓解金融交易数据管理中的性能、成本和功耗挑战 。

问题背景

随着 Tick 数据量的不断增加，对数据访问速度的要求也愈加严苛，迫使您依赖 SSD 来满足不断增长的 I/O 需求。数据集的规模正从单 TB 跃升至数十 TB 甚至上百 TB，这给存储的成本、功耗和空间带来了巨大的压力。压缩数据无疑是缓解存储空间、降低每 TB 成本并减少功耗的有效途径，但 CPU 压缩数据往往会引入延迟，影响分析应用的性能，并且增加整体功耗。

解决方案

ScaleFlux CSD3000 NVMe SSD （以下简称 CSD）专为高负载工作负载设计，并集成了独特的硬件压缩（与解压）功能，能够在保证低延迟的同时提高 I/O 性能，优化功耗/性能比，实现三重优势。

对基础设施的好处

主机的 CPU 和 GPU 更擅长数据分析而非数据压缩，那么为什么要让它们负担 KDB+等软件压缩任务？不如将压缩/解压任务卸载到内置处理器的先进 NVMe SSD 上，释放 CPU 的应用处理能力。如今，专用处理器（即“领域专用计算”）已经广泛应用于多个领域——AI 运算交给 GPU、TCP 流量交给智能网卡、视频编解码交给转码器，为什么不使用内置压缩/解压处理器的 SSD 呢？它能提供比普通企业级 NVMe SSD 高 4 倍的存储容量、9 倍的耐用性以及 2 倍以上的性能。

通过在硬盘中实现硬件压缩，您可以提升效率，降低 TCO（总拥有成本），同时加速应用响应：

• 在不增加服务器占用空间的情况下分析更多数据

• 通过压缩降低存储成本，提升延迟和 I/O 性能（无需在存储成本与延迟/性能之间做出妥协）

• 延长闪存存储的使用寿命，匹配服务器更新周期

• 无需安装新驱动或软件，因为这些硬盘使用标准的 NVMe 驱动和命令

• 利用硬盘自身的压缩功能扩展性能，无需过度购买更多 CPU 核心以应对未来的负载

ScaleFlux CSD 的内置压缩功能能够在相同的物理空间内处理更多数据，减少服务器和存储的扩展需求，同时避免增加管理复杂性。它可以卸载 CPU 的压缩/解压任务，在不增加额外服务器或更快 CPU 的情况下，提升数据分析能力。

ScaleFlux CSD 的压缩功能对应用程序完全透明，无需额外操作来触发“写时压缩”或“读时解压”功能，应用程序无需修改，降低了停机风险。

CSD 的压缩引擎能够以线路速率（line-rate）运行，且实现最高 6.2GB/s 的持续写入速度！通过数据压缩，SSD 在初次写入时减少了对 NAND 单元的需求，保持更多空闲空间，从而减少垃圾回收时的写放大（write amplification）。与其他企业级 NVMe SSD 相比，所有这些改进使得 I/O 性能提升了 2 倍或更多，延迟显著降低，且耐用性最高可提升 9 倍。

它适用于您的数据吗？数据真的能压缩吗？

Tick 数据通常具备很高的压缩性，压缩比可达到 4:1 或更高。数据包捕获数据（Packet capture ）也具有较强的压缩性，压缩比通常为 2:1 到 2.1:1。您可以使用我们的工具评估数据的可压缩性。也可以申请试用，亲自体验 ScaleFlux CSD。安装过程与普通 NVMe SSD 相同，支持 U.2 或 U.3 插槽，评估设备有 4TB、8TB 和 16TB 可供选择。

对系统的影响

将 CSD 应用到 Tick 分析系统中，可以带来：

• 查询每秒处理数（QPS）提升 2 倍

• 99.9% 延迟降低至接近 0*

• 每有效 TB 成本降低 2 倍

• SSD 耐用性提高 9 倍

• 无需安装新驱动

• 无需修改应用程序

*在 70%读/30%写混合随机负载下的写入延迟