写点什么

利用透明压缩技术解决企业级 SSD 读写延迟挑战

作者:ScaleFlux
  • 2023-05-30
    上海
  • 本文字数:2026 字

    阅读完需:约 7 分钟

当用现实世界进行类比时,可以将固态硬盘(SSD)想象成一组存储单元或车库,而写入数据则类似于将箱子和其他物品放入这些存储单元。

当我们填满一个存储单元时,可能会发现中间堆积了一箱我们不打算要了的旧书,我们需要先移开存储单元前面的所有东西,然后扔掉那些书籍。这样的空间释放是定期进行的,否则我们将永远没有足够的空间来存放新的物品。



这个类比帮助我们理解存储延迟的原因。当我们需要访问存储单元中的特定数据时,就像找到那本旧书一样,需要花费一些时间。而且,当存储单元中的空间被填满时,我们需要清空之前的数据才能为新数据腾出空间。否则,我们将无法存储新的数据。这些操作都会导致存储延迟的出现。

这就类似于企业 SSD 内部的 NAND 工作原理。我们填充设备,就像填充存储单元一样,而清理过程被称为"垃圾回收"。垃圾回收(Garbage collection) 是指删除我们标记为不再需要的无用数据的过程。不过,在完成垃圾回收过程之前,我们无法在特定位置读取或写入数据。我们必须进入设备,取出阻碍的数据,丢弃不再需要的数据,然后将一切放回原处。

一旦我们填满设备,我们就会陷入等待垃圾回收创建空间以写入新数据的境地。这时候,我们开始遇到延迟问题,应用程序变慢。当应用程序向设备写入的数据越多,设备就会越满,我们等待读取数据的时间就会越长。

解决这个问题的一种方法是

简单地在服务器中增加更多设备,或者在机架上增加更多服务器,或者在数据中心中增加更多机架。这就像购买更多的存储单元。我们永远不会用尽空间,但这既低效又昂贵。

更常见的方法是

在设备级别上通过保留一些空间来解决这个问题。保留空间是指将一部分存储空间设置为不可用于用户数据的空间,也称为过度配置(Over Provisioning)。这意味着在存储设备中预留一定比例的空间,用于实现其他目的,而不是存储用户的数据。例如,假设使用一块 7.68TB 的硬盘,并将其过度配置为 6.4TB,甚至是极端情况下的 3.2TB。在这种情况下,用户只能使用过度配置后的较小容量(6.4TB 或 3.2TB)来存储数据,而剩余的空间被保留用于特定目的。这种做法确保了设备的高性能和较低的延迟。尽管我们支付了所有这些空间的费用,却只能使用其中的一小部分。这就像只把每个存储单元填满一半,既低效又昂贵。


本质上来说,为了满足新的数据存储需求,无论是在存储空间还是设备上的数据,我们始终需要保留一定的可用空间。



这种情况正好适用于 ScaleFlux CSD 3000 NVMe SSD,我们利用内置的硬件压缩技术来减小已存储数据的物理占用空间。我们并不是存储更少的数据,而是占用更小的空间存储相同数量的数据。这种压缩数据的方法有效地减少了垃圾回收冲突,降低应用程序的延迟并提高性能。



ScaleFlux CSD 3000 NVMe SSD 的一些特点包括:

  • 透明的内联压缩(Transparent, Inline Compression):存储设备在写入数据之前使用压缩算法对数据进行压缩,以减小数据的物理占用空间。这种压缩是透明的,意味着应用程序无需感知或进行任何额外的操作即可使用压缩功能。

  • 透明的内联加密(Transparent, Inline Encryption):存储设备在写入数据之前对数据进行加密处理,以保护数据的机密性和安全性。这种加密是透明的,应用程序无需感知或进行额外的加密操作。

  • 容量倍增(Capacity Multiplier):通过使用数据压缩和优化存储空间的技术,存储设备可以实现在较小的物理空间中存储更多的数据,从而扩大存储容量。这意味着可以在相同的存储设备上存储更多的数据,提高存储效率。

  • 更高的性能(Higher Performance):存储设备的性能通常与数据的读取和写入速度有关。通过使用优化算法和硬件设计,存储设备可以提供更快的数据访问速度和更高的吞吐量,从而提高整体性能。

  • 极低的延迟(Insanely Less Latency):延迟是指数据从存储设备读取或写入的时间延迟。通过优化存储设备的设计和数据处理流程,可以大幅度降低数据访问的延迟,提供更快的响应时间和更高的实时性。

  • 寿命倍增(Endurance Multiplier):寿命指存储设备可以进行读取和写入操作的次数。通过使用技术和算法,可以减少数据写入对存储设备寿命的影响,从而提高存储设备的耐用性和寿命。

  • 可调的过度配置(Tunable Overprovisioning):过度配置是指将存储设备的一部分空间保留为不可用于用户数据的空间。可调的过度配置意味着可以根据需要调整 OP 的大小,以平衡性能、容量和空间利用率之间的需求。这样可以根据具体的应用场景和需求进行灵活配置。


这些特性的最大优点在于其透明性。这意味着不需要对应用程序进行任何更改,也无需占用主机内存或 CPU 资源。只需插入设备,即可立即享受到更好的结果。


关于 ScaleFlux:

ScaleFlux 是大规模部署计算存储的领导者,旨在帮助其客户利用数据增长作为竞争优势,提供企业级计算存储芯片解决方案,其硬件计算加速引擎极大优化了 NVMe SSD,提升了存储的能力。有效加速应用程序并优化数据中心、企业和边缘网络的基础设施资源。让客户在处理数据库、分析、物联网和 5G 等工作负载时获得更大的竞争优势。更多内容,欢迎访问官网 www.scaleflux.cn

发布于: 刚刚阅读数: 4
用户头像

ScaleFlux

关注

帮助客户将数据增长转化为竞争优势。 2022-06-08 加入

提供全球领先的可计算存储芯片解决方案。

评论

发布
暂无评论
利用透明压缩技术解决企业级SSD读写延迟挑战_压缩算法_ScaleFlux_InfoQ写作社区