为什么 AI 大模型离不开 GPU?
AI 大模型和 GPU 之间确实存在着密切的关系。
首先,AI 大模型指的是规模庞大的深度学习模型,它们需要处理海量的数据和进行复杂的计算。而 GPU,即图形处理器,拥有强大的并行计算能力,能够高效地处理矩阵运算等计算密集型任务,这正好满足了 AI 大模型对计算能力的需求。此外,随着 AI 技术的不断发展,AI 大模型对计算能力的需求也在不断增加。而 GPU 的性能也在不断提升,新的 GPU 产品不断涌现,为 AI 大模型提供了更加强大的计算支持。
因此,可以说 GPU 是 AI 大模型实现高效计算的重要工具之一,它们之间的关系是密不可分的。
什么是 GPU,与 CPU 有何区别?
在 GPU 火之前,提到最多的就是 CPU,那么二者有什么区别呢?CPU 是不是会被 GPU 取代呢?
![](https://static001.geekbang.org/infoq/4a/4afc557076b45afe803899e8ca8f701f.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
下面我们来看下二者的具体区别:
CPU 是 Central Processing Unit 的错写,CPU 通常被称为计算机的"大脑",主要来承担计算的处理功能,操作系统和应用程序运行等操作都必须依赖它来进行,CPU 还决定着计算机的整体速度。
GPU 是 Graphics Processing Unit 的缩写,其最初的设计是用于辅助 3D 渲染,能同时并行更多指令,其非常适合现在比较热门的动漫渲染、图像处理、人工智能等工作负载。
简单来说,CPU 是为延迟优化的,而 GPU 则是带宽优化的。CPU 更善于一次处理一项任务,而且 GPU 则可以同时处理多项任务。就好比有些人善于按顺序一项项执行任务,有些人可同时进行多项任务。
GPU 和 CPU 有何不同?
二者架构核心不同
通过下面两张图可以有助于我们理解 CPU 和 GPU 工作方式的不同。上文中我们提到,CPU 是为顺序的串行处理而设计的,GPU 则是为数据的并行而设计的,GPU 有成百上千个更小、更简单的内容,而 CPU 则是有几个大而复杂的内核。
![](https://static001.geekbang.org/infoq/25/25fb6c798c0256209f7db14389515f82.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
GPU 内核经过优化,可以同时对多个数据元素进行类似的简单处理操作。而且 CPU 则针对顺序指令处理进行了优化,这也导致二者的核心处理能力的不同。
内存架构不同
除了计算差异之外,GPU 还利用专门的高带宽内存架构将数据送到所有核心,目前 GPU 通常用的是 GDDR 或 HBM 内存,它们提供的带宽比 CPU 中的标准 DDR 内存带宽的带宽更高。
GPU 处理的数据被传输到这个专门的内存中,以最大限度地减少并行计算期间的访问延迟。GPU 的内存是分段的,因此可以执行来自不同内核的并发访问以获得最大吞吐量。
相比之下,CPU 内存系统对缓存数据的低延迟访问进行了高度优化。对总带宽的重视程度较低,这会降低数据并行工作负载的效率。
![](https://static001.geekbang.org/infoq/ed/ed99a6f38a618d94bc75f058cb93164f.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
并行性
专用内核和内存的结合使 GPU 能够比 CPU 更大程度地利用数据并行性。对于像图形、渲染这样的任务,相同的着色器程序可以在许多顶点或像素上并行运行。
现代 GPU 包含数千个核心,而高端 CPU 最多只有不到 100 个核心。通过更多的核,GPU 可以以更高的算术强度在更宽的并行范围内处理数据。对于并行工作负载,GPU 核心可以实现比 CPU 高 100 倍或更高的吞吐量。
![](https://static001.geekbang.org/infoq/b3/b3e214a083a37989c82ceae37c00e9ed.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
响应方式不同
CPU 基本上是实时响应,对单任务的速度要求很高,所以就要用很多层缓存的办法来保证单任务的速度。
GPU 往往采用的是批处理的机制,即:任务先排好队,挨个处理。
二者的应用方向不同
CPU 所擅长的像操作系统这一类应用,需要快速响应实时信息,需要针对延迟优化,所以晶体管数量和能耗都需要用在分支预测、乱序执行、低延迟缓存等控制部分。
GPU 适合对于具有极高的可预测性和大量相似的运算以及高延迟、高吞吐的架构运算。目前广泛应用于三大应用市场:游戏、虚拟现实和人工智能。
GPU 在 AI 领域中的应用
通常,数据中心 GPU 和其他 AI 加速器通常比传统 GPU 附加卡配备更多内存,这对于训练大型 AI 模型至关重要。人工智能模型越大,GPU 的能力就要越强,准确度越高。
为进一步加快训练速度,处理更大 AI 模型(例如 ChatGPT),研发者可将许多数据中心 GPU 汇集到一起形成超级计算机。而这需要更复杂软件方可正确利用可用的数字处理能力。另一种方法则是创建一个非常大规模的加速器,例如芯片初创企业 Cerebras 生产的“晶圆级处理器”(wafer-scale processor)。
同时,CPU 方面的发展并未停滞。AMD 和英特尔的最新 CPU 内置低级指令,可加速深度神经网络所需的数字运算。这一附加功能主要有助于“推理”任务,即利用其他已经开发的 AI 模型。
但目前来说,要训练人工智能模型,首先需要 GPU 或者类似 GPU 的大型加速器。
评论