软硬件双向驱动 英特尔加速 AI on PC 落地

以 ChatGPT、Claude2、Stable Diffusion、Midjourney 等为代表的生成式 AI 崛起的背后，是大众用户亲眼看到了 AI 技术切实落地到了实际应用之中，并为工作、创作、创意带来前所未有的效率提升。它与 AI1.0 时代的卷积神经网络、深度学习等看起来就颇具技术门槛的核心技术相比，显然更接地气，更容易为大众所接受。

毫无疑问，如今的我们正处在人工智能技术发展的关键阶段，它正在逐渐渗透到人类生活、工作、学习的方方面面。而生成式 AI 作为 AI 宏观体系中的一次大突破，正以惊人速度改变着自然语言处理、创意生成以及智能助手等领域的实践落地。而在这个过程中，英特尔作为半导体、软件、AI 等技术领域的领导者和领先者，正以其强大的软硬件支持，为生成式 AI 的蓬勃发展构筑核心生态。

·硬件：AI 普及的关键是让普通电脑也能轻松跑动各种大模型

一般来说，绝大部分 AI 相关应用的着力点在 GPU，因为它拥有强大的并行计算能力和浮点性能。但是此前在大湾区的一场技术分享会上，英特尔颠覆了我们对于 AI 计算硬件的认知。

通过构建 BigDL-LLM 库的方式，英特尔让 ChatGPT 这样的大语言模型顺利运行在了支持 AI 加速引擎的第 12 代和 13 代酷睿处理器平台上，并通过一系列优化使其速度达到了非常流畅的级别。即便是主打续航、便携能力的轻薄本，也能在 16GB 及以上内存容量平台中顺利运行最高达 160 亿参数的大语言模型。而让普普通通的笔记本电脑都能够顺利支持 AI 应用，这必然会为 AI 普及构筑出前所未有的坚实基础。

此外，BigDL-LLM 库不仅支持 ChatGPT 一种大语言模型，它还实现了对 LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama 等多个大语言模型的支持。而且英特尔还提供了易用的 LangChain 开源框架、Transformers 神经网络 API 接口，并顺利支持 Windows、Linux 操作系统，从而为不同平台的开发者们也带来了巨大便利。

此外别忘了，英特尔现在也是高性能 GPU 领域的参与者，旗下的锐炫 GPU 不仅拥有应用于大型数据中心、服务器领域的产品，在消费市场落地的锐炫 A 系列显卡同样能够为生成式 AI 应用提供可靠的算力支持。因此在 Stable Diffusion、Midjourney 这样的需要 GPU 算力的图像生成式 AI 应用领域，英特尔同样能够提供“专业对口”的硬件支持。如台式机端的 13 代酷睿 i7-13700K 处理器加上锐炫 A770 独显，就能够非常高效地运行 Stable Diffusion。

·软件：积极拥抱 AI 社区通过软件优化提升 AI 应用体验

如果说硬件为应用落地构建了基础，那么软件就是如何在基础之上构建高楼，而软件层面的优化，则是考虑如何让“高楼”从毛坯变成精装。

一直以来，英特尔在软件领域的投入都十分令人瞩目。通过精心构建软件生态，优化模型性能，英特尔为生成式 AI 在个人电脑端的应用创造了有利条件。

英特尔积极拥抱 AI 社区，通过基于 OpenVINO PyTorch 后端的方案，使得开源模型能够在英特尔的客户端处理器、集成显卡、独立显卡和专用 AI 引擎上顺畅运行。

同样以生成式 AI 应用中最火的图形视觉领域为例，英特尔开发了一套专门的 AI 框架，它可以在开启 OpenVINO 加速的情况下，仅通过一行代码的安装，就可以加速 PyTorch 模型运行。此时，就可以让 Stable Diffusion Automatic1111 WebUI 在集成显卡和锐炫独立显卡上流畅运行。

我们在一台 13 代酷睿 i7-13700H 处理器+锐炫 Xe 核显机器上试着让 Stable Diffusion 生成一张图片，所提的需求并未太过复杂，总体耗时为 44 秒，完成速度算是相当快的了，毕竟这是在移动平台的核显上做的图片渲染和生成。

目前，单单是 96EU 的锐炫 Xe 核显，就可以支持在 Stable Diffusion 上运行 FP16 精度的模型，从而快速生成高质量图片，为内容创作、视觉创意提供便利。

从这一案例可以看出，无论是文字生成图片还是图片生成图片，英特尔通过软件优化、模型优化，将模型对硬件资源的需求尽可能降到最低，从而提升模型的推断速度，确保那些以往需要高性能显卡才能运行的开源模型能够在个人电脑上也能高效运行，这对于 AI 应用普及同样是意义非凡。

·英特尔大语言模型应用落地 12 代、13 代酷睿电脑全部支持

在 8 月 18 日举办的大湾区技术分享会上，英特尔还进一步展示了其软硬件体系在大语言模型应用方面的实际表现。通过集成了 ChatGLM2、LLa MA2 和 Star Coder 三个大语言模型的英特尔大语言模型应用 Demo，成功展示了这些大语言模型在中文和英文应用方面的表现。

比如我们通过它询问了“AI 在 PC 领域上的应用”，它的首次响应延迟只有 215.3ms，也就是在提交问题到 AI 识别问题，再到开始生成问题答案的过程只有 215.3ms，可以说是非常迅速。

此外可以看到，这款软件集成了中文、英文、代码三种语言环境，对应功能的指向性也很明确。聊天、情感分析、中文翻译、故事创作等等，可以说是涵盖了大语言模型的常见应用。这样的分类可以帮助用户更加明确地向 AI 提出需求，而如何明确、正确提出需求，本身也是目前 AI 应用中的难点之一。

我们也试着向 AI 提出了“和女朋友吵架了怎么哄她”的情感分析需求，首次响应时间为 249.8ms，比上一个问题响应慢一些，可见和女朋友的情感问题摆在 AI 面前，它也需要多加思考一番。

英特尔借助软件端优化和量化操作，使得大语言模型在进行回答时能够以非常快的速度生成答案，并且不影响整机使用流畅性，这同样也是 AI 应用普及的重要一步。目前英特尔已经发布了这套 Demo，任何搭载英特尔 12 代和 13 代酷睿的电脑都可以直接安装并进行体验。

·英特尔：AI on PC 的核心赋能者

英特尔不仅仅是 AI 技术的提供者，更是让 AI on PC 从“PPT”走向实际落地的核心赋能者。

借助支持 AI 加速引擎的 12 代、13 代酷睿处理器，借助具备高效浮点性能的锐炫 GPU 等强力硬件，并且快速推出英特尔大语言模型应用 Demo 以及通过后端优化和 OpenVINO 加速来更好地支持 Stable Diffusion 图形视觉领域的 AI 应用，AI 借助 PC 实现全面普及只是时间问题。

现阶段，大众用户对于生成式 AI 应用的使用意愿极为强烈，因为它确实能够解决很多实际问题。如提升办公效率、提供辅助设计和创意理念等等，这些应用能够彻底改变人类现阶段的工作、生活方式，激发人们在创作、创意层面的灵感，而硬件性能强大的电脑无疑是最佳载体。

除了已经发布的第 12 代与 13 代酷睿之外，英特尔下一代 Meteor Lake 处理器也将进一步强化对于 AI 的底层支持，专门设计的 NPU 将为 AI 应用带来更加高效的体验。

在生成式 AI 集中落地的大潮中，英特尔是一个不可或缺的关键因素。从强劲性能的硬件支持到模型优化的软件技术，英特尔为生成式 AI 的发展提供了全方位支持。在英特尔的引领下，生成式 AI 与 PC 将实现惊人的化学反应，为人类带来更智能、更富创意 PC 使用体验。

文章来源：中关村在线