支撑 AI 的算力芯片,未来何去何从?
随着 ChatGPT 等千亿级参数 AI 大模型的快速发展,业界对算力的需求越来越高。
算力是计算机在单位时间内对整数和浮点数的计算能力。算力的提供方是高性能、高密度的 CPU(中央处理器)、GPGPU(通用图形处理器)、NPU(神经网络处理器)和各类加速器芯片。
算力芯片拥有比常规中央处理器更强大的计算能力,拥有更强的专用性,能够处理大量的数据并执行复杂的算法。
算力芯片的设计焦点通常是提供高性能的数学运算能力,特别是在处理并行计算任务时。
这些芯片广泛应用于各类计算环境,从超级计算机到个人计算机,再到移动设备。算力可以用于衡量个人计算机、服务器、移动设备或者大型数据中心的性能。
评估一款芯片的算力涉及多个参数,包括但不限于时钟频率、核心数量、内存带宽,以及执行特定任务(如浮点计算或整数计算)时的速度,如整数 TOPS 算力和不同精度的浮点算力。
CPU 发展了 50 多年,GPU 也发展了将近 30 年。围绕着 CPU 和 GPU 所构建的软件和硬件体系已经相当成熟,面对性能瓶颈,要想增加算力,只能不断增加集群规模,AI 计算成本成为不可承受之重。
支撑 AI 的算力芯片,未来何去何从?
《算力芯片――高性能 CPU/GPU/NPU 微架构分析》一书正是在这样的背景下诞生的。
下面就让我们一起跟随作者濮元恺老师走进本书背后的故事吧~~
文/濮元恺
2023 年初,GPT 等自然语言大模型开始被更多行业和个人使用,全社会的目光投向 AI 人工智能领域,计算机行业也掀起一波对于算力的关注潮。
我意识到自己之前的专业和知识积累,获取应该能贡献点什么,于是电子工业出版社沟通,说明自己的想法,以及非常粗略的内容规划。
2023 年我的工作并不是非常忙碌,虽然也有加班,但是市场环境相对平静(这一点金融从业者应该非常清楚),以及我自己对写书这件事的严格保密和信息隔离,给我了非常好的知识梳理机遇期。
直到 2023 年中,我才对要写什么有了具体规划,图书内容要瞄准 CPU 和 GPU 等芯片近 20 年来的主要发展,着重讲解高性能高算力密度的芯片微架构和产品设计,且需要考虑到不同读者的知识构成和需求,拓宽受众群体,而不是写成一本类似教材的专著或教科书。
在此内容规划下,有三大重点:
1、CPU 的演进
从调度和逻辑计算为传统目标,转向更高密度的核心堆砌和更高多核心并行效率,如 AMD 的 EPYC 处理器。
2、GPU 的演进
这是一个非常棒的故事,从 2005 年左右开始,业界其实就已经发现着色器 shader 拥有较大计算密度,有通用处理器的潜质,如 NVIDIA 的 A100,H100 处理器。
3、其他非通用处理器(加速器)
近几年来挣脱 CPU/GPU 架构的束缚,高速发展成为算力密度极高的超级计算机加速器。谷歌的 TPU,华为的昇腾 Ascend 910 处理器。再比如特斯拉的 Dojo,完全是定制化的高密度算力芯片,也是一种思路。
在内容整理阶段,考虑到很多读者是因为兴趣翻阅起这本书,我们加入了对于 CPU 基本原理介绍的第 2、3、4 章节。
第 4 章的 SIMD 单元也是 CPU 能堆砌出高并行算力的基础计算单元,这部分中,Intel 对于 MMX 指令集的介绍非常有历史感,低分辨率的图片,图中人物的上世纪 90 年代的发型也很有趣,那正是多媒体概念提出的年代,是 CPU 无法满足图形处理的年代,现在面对 AI,超级计算机又何尝不是呢。
第 5 章是对大型处理器拓扑结构的介绍,很多有趣的设计方案能够让 CPU 的多个核心处于高效率运行阶段。
第 6 章是分段介绍主流的高算力 CPU 芯片,其实还有很多优秀产品,但是篇幅有限,只能写这些。
第 7 章之后,都是 GPU 部分。
这里的每一个字的产生都离不开 2010 年我在中关村在线从业的经历,当时我们不仅写公开评测文章,还针对自己关注的领域做深入研究,我着重关注 GPU 的通用计算能力和兼容性问题,因为 CUDA 已经能够渗透式地改变整个行业。
我还记得天河超级计算机第一次通过 GPU 带来了峰值浮点能力的飞跃,之后 GPU 加速器成为 TOP500 超级计算里统计中的明星。GPU 部分参考了非常多的厂商白皮书,其中 NVIDIA 的资料尤其丰富。
Intel 的加速器部分我认为较为可惜,其在 GPU 发展路径上举棋不定,直到截稿时才大致看清未来它会以 Gaudi 产品线为主。
2023 年 7 月,我将这个消息透露给 NVIDIA 的朱亮先生和快科技(原驱动之家)的邱洪民先生,两位都是行业前辈,对于产品应用有深刻认知,我们大部分用户接触到的高性能设备,他们都能更早地通过厂商送测拿到,并测试和反馈。
虽然 14 年前我也是其中的一类人,我记得世界上第一块通用性强的可编程 GPU,代号 Fermi 的 GTX480 发布前,我的领导告诉我中国大陆地区只有 5 块,我们办公室就有 2 块。
我也突然想起 2011 工作去上海出差,坐在黄仁勋对面, 我的问题总是跑题到 GPU Computing,他总是绕回到 GPU Graphics 回答我,因为那次的主题是 NVIDIA 为上海世博会做了一个清明上河图多屏显示方案。
回到本书内容中,2023 年底截稿,但是 2024 年开始,我们开始对内容做删减,刚开始是几句话,后来是整段,再后来是整小节删除。
因为这本书如果什么都要写,字数 40 万,页数 700 页不止,我们必须精简《算力芯片》,也因为这本并非是纯技术讲解,而是融合技术架构、产品、市场格局的图书。
本书涉及到大量参考资料,如果没有这些资料,我不可能拿着显微镜打开芯片内部架构做讲解。
正因为有了这些图书、白皮书、解决方案文档、论文、评测分析类文章,和它们背后伟大的作者,才有了本书丰富的内容。
根据出版社要求,我整理了全部参考资料,会以电子版形式提供给读者,所以我在每章节后没有再附上冗长的参考资料。
具体的提供方式是扫描图书上客服二维码,通过客服领取电子版参考资料。
但是我也隐约感觉可能漏掉一两篇,如果细心的读者发现,最早是你撰写了某个算法、或某个技术分析细节、或你创作了某个重要的架构图,请与我联系,我尽快做出说明,并加入到参考资料中。
图书规划初始,我坚持以“编著”模式撰写本书,而不是 6 年前我写量化投资行业交易模型时,以“著”作为撰写模式。编著是在整理已有成果(产品、技术)的基础上有所概括和分析的写作过程。
实际上本书也是我翻越愚昧之山的过程,某些知识点可以较快完成,另一些则需要阅读大量文献,还不知道如何下笔,有一段时间中,我越来越没信心能完成这件事,但又不得不继续写。
由于写书和自己的工作完全没有关系,也没有商业合作支持,我不止被问过一次为什么要写这本书。
答案是基于兴趣,基于中文世界还没有看到算力芯片产品的综述类资料,我也期待图书能够再版,能认识到专业积累深刻的工程师、行业前辈,和我一起继续丰富内容、维持更新。
我也发现了图书中的一些小错误,比如把 bank(存储单元板块划分)翻译为银行,以及其他一些不规范的描述,这都是需要修改的。
我的微信号是 philips_kai,需要交流的朋友们可以加好友,我可能回复较慢,请多提醒我。
最后,感谢半导体行业中辛勤耕耘的工程师,你们创造一个微观世界,极大程度上改进了全社会运行效率。
↑限时五折优惠↑
评论