社区 存内计算开发者社区存内计算技术帖子详情 基于 SRAM 的存内计算助力实现节能 AI

   本期内容介绍有关功耗的相关问题。随着 AI 模型的复杂性和规模的不断增长，相应的功耗问题也逐渐凸显。在这个背景下，存内计算技术成为降低 AI 系统功耗的重要解决方案之一。本文将深入探讨基于 SRAM（静态随机存取存储器）的存内计算，旨在详细解释存内计算如何助力降低 AI 功耗，并深入探讨 SRAM 是如何在这一技术中发挥关键作用的。

一．降低 AI 功耗的必要性

中国科协在第二十五届中国科协年会主论坛上，发布了 2023 重大科学问题、工程技术难题和产业技术问题。人工智能、新能源、高性能材料、生命科学等领域的重大问题受到关注。其中第一个问题就是如何实现低能耗人工智能。

人工智能（AI）加速器在神经网络等 AI 类型的任务中扮演着至关重要的角色。这些高效的并行计算设备能够提供处理大量数据所需的出色性能。随着 AI 在我们生活中的不断渗透，从智能扬声器等消费电子产品到自动化工厂等工业应用，我们迫切需要关注这些应用的能源效率。

实际上，鉴于其对环境的潜在影响，人工智能硬件功耗已成为一个需要特别关注的领域。OpenAI 的数据显示，要训练出一流的 AI 模型，平均每 3。4 个月的时间就会使计算资源需求翻倍。马萨诸塞大学阿默斯特分校的研究人员估计，训练一个单一深度学习模型可能导致高达 626，155 磅的碳排放，相当于五辆汽车在其整个生命周期中的总排放量。而一旦将人工智能模型应用于实际场景，其能耗将进一步增加。AI 硬件通常由上千片晶片（处理元件）组成，这一设计需要十亿多个逻辑门，因此极其能耗庞大。通过降低功耗，我们可以获得多方面的好处，包括成本降低、电池续航时间延长，同时将对环境的不良影响降至最低。[1]

 近日，根据德国施耐德电气最新发布报告显示——2023 年 AI 负载功耗需求为 4。3G 瓦——大约相当于 2021 年丹麦的全年平均功耗。据施耐德电气称，到 2023 年，所有数据中心的总功耗预计将达到 54 GW。在这些人工智能工作负载中，训练和推理之间的分配特点是 20% 的功耗用于训练目的，80% 分配给推理任务。这意味着人工智能工作负载将占今年数据中心总功耗的约 8%。

  综上所述，降低 AI 功耗不仅能够尽量减少对环境的影响，还能降低运营成本，并在有限的功耗预算内尽可能地提高性能，缓解热挑战。

二.降低 ai 功耗的思路与国内外研究与成果

      在这一背景下，低功耗人工智能成为追求可持续发展和环保的重要方向。低功耗人工智能不仅有助于解决节能环保的问题，更能在移动设备、物联网和边缘计算等领域发挥关键作用。其意义不仅在于降低能源开支和维护成本，同时也能推动更广泛的人工智能应用，使得这一技术更贴近实际需求。

因此，探索并强调低功耗人工智能的重要性，成为当前科技领域中的一项迫切任务。未来低功耗人工智能的一些主要趋势包括——

 2.1 算法优化

      如采用二值神经网络 (BNN) 使用位运算代替标准算术运算，大大降低了存储器大小和访问要求。通过显著提高运行时效率和降低能耗。BNN 可以显著减少存储量和访问量，并通过逐位计算取代大多数算术运算，从而大大提高能效；二值处理单元用于 CNN 时，可节省 60%的硬件复杂性。有人将二值网络在 ImageNet 数据集上进行了测试，与全精度 AlexNet 相比，分类精度仅降低了 2。9%，而且由于其功耗小，计算时间短，使得通过专门硬件加速 DNN 的训练过程成为可能。 [2]​

   2.2 硬件优化

      开发专为低功耗人工智能设计的新硬件架构。这些架构通常可以非常有效地执行人工智能计算。在传统冯·诺伊曼体系结构中，数据需要从处理单元外的存储器提取，处理完之后再写回存储器，速度慢、耗能高，这是低功耗和高性能之间的矛盾关键点。针对这种问题，目前在硬件优化上有多种方式，如设计专用于 AI 工作负载的硬件加速器，如图形处理单元（GPU）、张量处理单元（TPU）、神经处理单元（NPU）等。其中如存算一体芯片（Compute-In-Memory，CIM）是一种非常有前景新型的计算架构，可以使存储器同时拥有计算和存储功能。举例来说，以前需要 3~4 个模块搭载在一起进行存储和计算，数据需要从处理单元外的存储器提取，而有了存算一体技术，一个芯片足以打通存算环节。由此，可以避免数据反复搬运，能大幅提升能效，降低设计难度。

三.基于 SRAM 的存内计算

      2016 年，Jeloka 等人提出了基于 SRAM（Static Random Access Memory，静态随机访问存储器）的存内逻辑计算。随后，大量研究基于此原理进行了更深入的研究。同时，根据 SRAM 的存内逻辑运算原理，SRAM 又被用于神经网络的硬件加速。基于 SRAM 的存算一体技术起步相对较晚，密歇根大学(University of Michigan)和北海道大学(Hokkaido University)于 2017 年分别在 VLSI 会议上，发表了基于 SRAM 的存算一体芯片，这也是最早一批在集成电路方向发表的基于 SRAM 的存算一体芯片论文。此后，基于 SRAM 的存算一体芯片发展迅猛，从 2018 年开始，ISSCC 会议开始设立存算一体相关的会议议题，投稿与发表数逐年增长，计算方式从模拟计算转向数字与模拟计算并存，所支持的计算精度也从一开始只能支持二值化精度到现在能支持浮点精度。

 SRAM 最经典的单元为 6T 结构。存储器构造的核心是存储阵列，它是影响整个 SRAM 的面积开销和读写性能的主要方面。在存储阵列中，基本的存储单元在水平方向上采取共享字线(WL)的方式；在垂直方向采取共享位线(BL)的方式。晶体管 M1 和 M4 组成左侧反相器，M2 和 M3 组成右侧反相器，两个反相器通过反馈作用形成背靠背反相器，从而保持数据。晶体管 M5 和 M6 是存取晶体管，存取晶体管的栅端共用一条 WL 信号，存储节点分别通过这两个晶体管与 BL 和 BLB 进行连接。只有当这两个晶体管被开启时，相应的读写操作才能被执行。这种设置是典型的 CMOS 技术，相当于一个“触发器”电路，只要系统正常供电，就能在稳定状态下存储信息“0”或“1”。

四．优势与挑战并存

基于 SRAM 技术的存内计算展现了一系列独特的优势和挑战。其优势体现在其快速的访问速度、低功耗的特点上，SRAM 作为一种静态存储器无需定期刷新，且由于存储是基于存储单元中的电荷而非电容，具备较高的存储稳定性。这使得基于 SRAM 的存内计算在访问效率和数据稳定性方面具备显著优势，特别适用于高性能计算和高速缓存应用场景。然而，SRAM 也面临着成本较高、面积相对大的挑战，这在一些对存储容量要求较大、成本敏感的情况下可能限制其应用。

因此，在选择存内计算技术时，需要全面考虑任务的性质、系统需求以及成本和性能之间的平衡。尽管基于 SRAM 的存内计算在提高计算效率和降低功耗方面取得了积极进展，但在实际应用中仍需根据具体场景综合考虑其优势与挑战。

快速访问速度： SRAM 存储器的访问速度相对较快，比许多其他存储技术（如 DRAM）更快。这使得在 SRAM 中执行的计算能够更迅速地获得存储器中的数据，提高计算效率。

稳定性： SRAM 是静态存储器，可以在没有刷新的情况下保持存储的数据。这使得基于 SRAM 的存内计算更容易管理状态，而无需频繁地进行额外的维护操作。

低功耗： 通常，SRAM 模块比 DRAM 模块消耗更少的功率。这是因为 SRAM 仅需要较小的稳定电流，而 DRAM 则需要每隔几毫秒爆发一次功率来刷新。该刷新电流比低 SRAM 待机电流大几个数量级。因此，SRAM 用于大多数便携式和电池供电的设备。然而，SRAM 的功耗确实取决于其访问频率。当 SRAM 以较慢的速度使用时，它在空闲时消耗的功率几乎可以忽略不计。另一方面，在更高的频率下，SRAM 的功耗与 DRAM 一样多。

成本和面积： 相对于一些其他存储技术，如 DRAM，SRAM 的制造成本和占用面积较大。这使得 SRAM 在某些存储容量较大、成本敏感的场景中并不适用。一些复杂的计算可能需要更大的存储容量或其他类型的存储器技术来满足要求。

五.当下基于 SRAM 的存内计算芯片的产业化

      相较于其他新型非易失性存储器，基于 SRAM 的存算一体技术路线尽管起步较晚，但凭借其工艺兼容性、设计灵活性、电路可靠性等优势，近 5 年发展十分迅猛，在学术界不断尝试和探索的过程中逐渐引起工业界的重点关注，在 AI 算法愈发向更大模型演进使得硬件算力和功耗愈发受到重视的今天，基于 SRAM 的存算一体技术展现出了强劲的性能优势和应用潜力，使得多个国际芯片巨头开始在该领域进行研发和产业布局。比如英特尔、IBM、特斯拉、三星、阿里等，巨头对存算技术布局较早，如三星基于 MBCFET 技术的 SRAM 芯片与现有芯片相比写入电压降低了 230mV，可见 MBCFET 确实能够实现降低功耗。

与此同时，国内初创企业的创新势头也在不断加速，其中知存科技、后摩智能、千芯科技、亿铸科技等企业正积极投入研发领域，推动着智能存储和计算技术的发展。这些初创企业的活跃在推动着中国科技创新的发展，不仅为本国市场提供了先进的技术解决方案，同时也在全球范围内树立起中国企业不断在存储和计算领域革新的形象。随着这些企业的不断努力和突破，可以期待看到更多智能、高效、创新的存储计算技术在未来的应用场景中得以广泛应用。​

六．总结

      基于 SRAM 的存内计算在降低 AI 功耗方面发挥着重要作用。SRAM 的静态特性和较快的访问速度有助于降低内存访问功耗，提高整体计算效率。其低功耗状态切换的灵活性也使得系统在空闲或轻负载时能够更有效地管理功耗，为构建高效能且能源节约的 AI 应用提供了基础。

参考文献

·王梓霖。 面向低功耗嵌入式系统的存内计算电路设计[D]。电子科技大学，2023。

·李燕飞。 二值神经网络设计中若干关键技术的研究[D]。浙江大学，2023。

·郭昕婕，王光燿，王绍迪。存内计算芯片研究进展及应用[J]。电子与信息学报，2023。

·Bhaskar， Akshay。 “Design and analysis of low power SRAM cells。” 2017 Innovations in Power and Advanced Computing Technologies (i-PACT) (2017): 1-5。

·张章，施刚，王启帆等。基于 SRAM 和 NVM 的存内计算技术综述[J/OL]。计算机研究与发展:1-18[2024-02-04]。http://kns。cnki。net/kcms/detail/11。1777。TP。20231010。1139。004。html。

·冯平，尹家宇，宋长坤等。非易失性静态随机存储器研究进展[J]。半导体技术，2022，47(01):1-8+18。

说明：说明：本文来自 CSDN 存内社区，原文作者：叫我兔兔酱