​腾讯云异构计算平台全面支持 Llama 3，助力一键部署、性能翻倍

开源模型生态正在加速 AI 落地。

近日，Meta 正式发布最新一代开源模型 Llama 3。腾讯云对外透露，其异构计算平台已全面支持 Llama 3 系列模型，为企业及开发者提供从基础设施到编排调度的智算产品矩阵全链路解决方案，该平台不仅具备快速部署的能力，还显著提升了性能和吞吐量，助力 AI 应用的快速落地与普及。

更快部署：HAI 助力，3 分钟快速创建 Llama 3

随着大模型时代的到来，取得先发优势、优质的模型能力是构建 AI 应用核心竞争力的关键。为助力中小企业及开发者解决在 AI 应用上担心的敏捷部署、成本效益、数据安全等难题，腾讯云推出了全新的 GPU 应用服务产品——高性能应用服务 HAI，不仅提供即插即用的便捷性，还支持 AI 模型在云端的私有化部署，确保在有丰富模型选择的同时，数据安全也能得到严格保护。

在 Meta 发布 Llama 3 后，腾讯云 HAI 第一时间支持了 Llama 3 的一键部署。仅需 3 分钟，中小企业及开发者便能轻松实现基于 Llama 3 的应用创作与开发，将其应用于智能客服、内容创作、文本分析等各种场景，从而提升产品竞争力或企业运营效率。

HAI 应用中心已支持 Llama3

从应用层面来看，腾讯云 HAI 提供一键即得的澎湃算力与常见环境，助力中小企业及开发者快速部署 LLM、AI 作画、数据科学等高性能应用，其原生集成配套的开发工具与组件，可大幅提高应用层的开发生产效率。此前 HAI 已成功支持 ChatGLM 系列、Stable Diffusion、Llama 2 等丰富主流模型，同时支持 Notebook、WebUI 等多种图形化算力交互模式，以应用为核心有效降低了云原生 AI 应用落地门槛。

HAI 还将继续拓展服务范围，支持更多高性能应用模板，为中小企业及开发者提供更丰富的资源和工具，真正实现“再小的个体，也能实现自己的 AI 想法”。

Llama 3 在 HAI 上的运行效果

更强性能：全新实例 Llama 3 推理性能飙升 2-10 倍

在硬件层面，腾讯云推出的最新一代异构计算 GPU 实例 PNV5b，围绕 Llama 3 等大模型场景进行深度优化，将 AI 推理部署性价比提升至新的高度。

Llama 3 模型继承了 Llama 2 的优秀特性，通过采用 GQA 机制，有效降低大模型推理过程中的 KV cache 显存开销。PNV5b 实例搭载了最新一代 GPU，单卡搭配 48GB 显存，在算力和显存匹配上做到了更好的平衡，为大模型推理提供了更优的性价比。同时，PNV5b 实例在整机架构设计上支持最大单机 8 颗 GPU 高效扩展，大幅提升分布式推理性能。

在 Llama 3 的推理部署测试中，在典型业务请求压力条件下，PNV5b 的推理吞吐对比上一代 PNV4 可提升 2-3 倍；而在极端请求压力测试下，性能可进一步提升至 10 倍。这意味着，PNV5b 实例能提供更好的性能扩展能力，让用户在面对大模型的业务洪峰时更加游刃有余。

除此之外，PNV5b 通过星星海服务器搭配最新一代 AMD CPU 平台，提供多种实例规格，可灵活匹配大模型推理、大模型精调、推荐系统等多种场景的实例规格需求。将为广大用户带来更贴合业务的 AI 模型训练和推理体验，为企业和开发者创造更多的价值。

更高吞吐：TACO 加速引擎全新升级，全面适配 Llama 3

在软件层面，腾讯云对 TACO Kit 计算加速进行了全面升级，推出了专门用于提高大语言模型推理效能的 TACO-LLM 加速引擎。通过充分利用计算资源的并行能力，TACO-LLM 能够同时处理更多语言模型推理请求，已成功为多家客户提供了兼顾高吞吐和低时延的优化方案。

随着大模型的广泛使用，开源社区涌现出多个优秀的大模型推理框架，如 vLLM，Text-Generation-Inference(TGI)，LightLLM 等，它们的设计理念各具特色，可谓百花齐放，各领风骚。而在实测数据中，TACO-LLM 的表现均优于其他方案，在相同 GPU 硬件的前提下，推理吞吐性能最高提升 78%。

全新 TACO-LLM 现已支持 Llama 3 系列模型，并与高性能应用服务 HAI 或全新一代异构实例 PNV5b 实现高效协同，显著提升了部署及推理效率，同时还支持分布式推理、动态 Batching、Page Attention 等多种特性，为用户提供更优质、更灵活的服务体验。

TACO-LLM 特性

在实际应用中，Llama 3 在多个行业均表现优异，如显著提高了智能客服解决率，提升内容创作质量，准确提取文本分析信息等。

基于星星海自研服务器、分布式云操作系统遨驰，腾讯云正通过算存网一体的智算集群、高性能分布式训练和推理加速包以及多样化的算力调度形态，打造面向 AIGC 的高性能智算网络，持续加速全社会云上创新。