亚马逊云科技推出新一代自研芯片

亚马逊云科技在 2023 re:Invent 全球大会上宣布其自研芯片家族的两个系列推出新一代，包括 Amazon Graviton4 和 Amazon Trainium2，为机器学习（ML）训练和生成式人工智能（AI）应用等广泛的工作负载提供更高性价比和能效。Graviton4 和 Trainium2 是亚马逊云科技自研芯片的最新创新。亚马逊云科技每一代自研芯片都持续提升性价比和能效，为客户提供了基于 AMD、Intel 以及英伟达等的最新芯片和实例组合之外的更多选择，从而使 Amazon Elastic Compute Cloud（Amazon EC2）可以为客户虚拟运行几乎所有应用和工作负载。

• Graviton4 与当前一代 Graviton3 处理器相比，性能提升高达 30%，独立核心增加 50%以上，内存带宽提升 75%以上，为在 Amazon EC2 上运行的工作负载提供最佳性能和能效。

• Trainium2 与第一代 Trainium 芯片相比训练速度提升多达 4 倍，并能在 EC2 UltraClusters 中部署多达 100,000 个芯片，可以在极短的时间训练基础模型（FMs）和大语言模型（LLMs），同时能效提升多达 2 倍。

亚马逊云科技计算和网络副总裁 David Brown 表示：“芯片是用户所有工作负载的基础，这也是为什么亚马逊云科技一直将这一领域视为其至关重要的创新领域。通过将芯片设计聚焦于客户真正关心的实际工作负载，我们能够为客户提供最先进的云基础架构。Graviton4 是我们在短短五年推出的这一系列的第四代，是我们至今功能最强大和最具能效的芯片，为客户广泛的工作负载提供支持。随着生成式 AI 引起的广泛关注，Tranium2 可以帮助客户以更低成本和更佳能效，更快地训练机器学习模型。”

Graviton4 为客户广泛的工作负载提供更佳性价比和更高能效

如今，亚马逊云科技在全球规模化提供的基于 Graviton 的 Amazon EC2 实例种类达 150 多个，已经构建的 Graviton 处理器数量超过 200 万个，并拥有超过 50,000 客户。这些客户涵盖了 EC2 最大的前 100 个客户，他们使用基于 Graviton 的实例为其应用提供最佳性价比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe 以及 Zendesk 等客户正使用基于 Graviton 的实例运行广泛的工作负载，包括数据库、数据分析、网络服务器、批处理、广告服务、应用服务器以及微服务等。随着客户把更大的内存数据库和分析工作负载迁移到云上，他们对计算、内存、存储和网络的要求也随之增加。为此，他们需要更高性能和更大实例来运行这些要求严苛的工作负载，同时需要优化成本。针对这些工作负载，客户还希望能使用更加节能的计算资源，减少对环境的影响。目前，很多亚马逊云科技的托管服务都支持使用 Graviton，包括 Amazon Aurora、Amazon ElastiCache、Amazon Elastic MapReduce（Amazon EMR）、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service（Amazon RDS）、Amazon Fargate 以及 Amazon Lambda 等，将 Graviton 的性价比优势带给使用这些服务的用户。

Graviton4 处理器相比 Graviton3 处理器性能提升 30%，独立核心增加 50%以上，内存带宽提升 75%以上。Graviton4 还进一步通过高速物理硬件接口的完全加密提升了安全性。Amazon EC2 R8g 内存优化性实例将采用最新的 Graviton4，提升客户运行高性能数据库、内存缓存、大数据分析等工作负载的效率。R8g 实例相比当前一代 R7g 实例提供更大的实例大小，虚拟处理器（vCPU）以及内存均提升了 3 倍。这让用户可以处理更大量的数据、更大规模的工作负载、更快地获得运行结果，并降低总拥有成本。基于 Graviton4 的 R8g 实例现已提供预览版，并将在未来几个月推出正式可用版。欲了解更多基于 Graviton4 的 R8g 实例的信息，请访问：aws.amazon.com/ec2/instance-types/r8g。

Trainium2 的 EC2 UltraClusters 致力于为客户提供云中最高性能、最具能效的 AI 模型训练基础架构

如今日益增加的生成式 AI 应用背后的基础模型和大语言模型需要使用海量数据集进行训练。这些模型通过创造文字、音频、图片、视频、甚至软件代码等大量新的内容，帮助客户重构用户体验。当今最先进的基础模型和大语言模型通常包含数千亿甚至数万亿个参数或变量，需要能够支持上万机器学习芯片进行扩展的可靠高性能计算能力。亚马逊云科技现已提供广泛而深入的由机器学习芯片支持的 Amazon EC2 实例选项，包括最新的英伟达 GPU、Trainium 以及 Inferentia2。Databricks、Helixon、Money Forward 以及 Amazon Search 团队等众多客户都在使用 Trainium 训练大规模深度学习模型，从而受益于 Trainium 的高性能、可扩展、可靠以及低成本等诸多优势。但即便已经在使用当今最快的加速实例，客户仍然希望获得更强的性能和规模来训练这些日益复杂的模型，从而提高训练速度、降低成本，同时降低能源消耗。

Trainium2 芯片专为以高性能训练具有数万亿个参数或变量的基础模型和大语言模型而构建。Trainium2 与第一代 Trainium 芯片相比，性能提升多达 4 倍，内存提升 3 倍，能源效率（每瓦性能）提升多达 2 倍。Amazon EC2 Trn2 实例采用最新的 Trainium2，一个单独实例包含 16 个 Trainium 加速芯片。Trainium2 实例致力于为客户在新一代 EC2 UltraClusters 中扩展多达 100,000 个 Trainium2 加速芯片，并与 Amazon Elastic Fabric Adapter（EFA）PB 级网络互联，提供的算力高达 65 exaflops，客户可按需获得超级计算级别的性能。有了这个级别的规模，客户可在数周而非数月就能训练完成一个具有 3 千亿参数的大语言模型。通过以显著降低的成本提供最高横向扩展的模型训练，Trainum2 实例可以帮助客户解锁并加速生成式 AI 的新一轮创新。

Anthropic 是一家人工智能安全和研究公司，是负责任地部署生成式人工智能的主要倡导者，致力于创建可靠、可解释和可控的人工智能系统。Anthropic 自 2021 年开始使用亚马逊云科技。近期，Anthropic 推出了 Claude——一款专注于提供帮助、无害且诚实的人工智能助手。Anthropic 联合创始人 Tom Brown 表示：“自支持 Amazon Bedrock 以来，Claude 已获得亚马逊云科技客户的广泛采用。Trainium2 将帮助我们大规模构建和训练模型，对于一些工作负载，Trainium2 相比第一代 Trainium 芯片速度至少提升了 4 倍。我们与亚马逊云科技的合作，将帮助各种规模的组织有机会同时受益于 Anthropic 的安全并先进的人工智能系统以及亚马逊云科技可靠的云技术，从而释放新的可能性。”

Databricks 帮助全球超过 10,000 家组织机构，包括 Comcast、Condé Nast 及 50%以上的财富 500 强企业，统一其数据、分析和 AI。Databricks 生成式 AI 副总裁 Naveen Rao 表示：“数千家客户在亚马逊云科技上运行 Databricks，使用 MosaicML 对各种用例的基础模型进行预训练、微调及其他操作。Amazon Trainium 为我们提供了训练 Mosaic MPT 模型所需要的规模、高性能以及低成本。Trainium2 使更快的构建下一代 Mosaic MPT 模型成为可能，让我们有机会为客户提供前所未有的规模和性能，助力他们比以往更快地推出自己的生成式 AI 应用。”