写点什么

亚马逊云科技启示录:创新作帆,云计算的征途是汪洋大海

  • 2023-01-12
    北京
  • 本文字数:14888 字

    阅读完需:约 49 分钟

亚马逊云科技启示录:创新作帆,云计算的征途是汪洋大海

开篇:创新是亚马逊云科技发展的最持久驱动力

云计算,新世纪以来最伟大的技术进步之一,从 2006 年 Amazon Web Service 初创时的小试牛刀,到如今成长为一个巨大的行业和生态,已经走过 16 年的风雨历程。

Java 之父詹姆斯·高斯林 (James Gosling)在一次针对亚马逊云科技 re:Invent 峰会的采访中说道:“云计算概念的出现要远早于云计算的真正实现。在云计算发展早期,人们只是继续使用自己早已开发完成的普通应用程序,直接把它们运行在云服务商的设备上。后来,人们开始编写出专为云环境设计的应用程序。于是,行业中才陆续涌现出云数据库等在传统集中式数据中心内看不到的技术方案。过去几年,数字化转型已经全面掀起浪潮。而这波转型也凸显出新的事实:我们还有更多的探索空间和机遇。对我个人而言,最让人眼前一亮的应该是 Gravition3 的发布。它给众多应用带来了良好的运行环境。它被集成在亚马逊云计算架构当中,能够为用户希望在云端执行的一切负载提供良好支持。确实,亚马逊云科技已经改变整个 IT 行业。”

亚马逊云科技已成长为全球最大的公有云平台。在基础设施层面,亚马逊云科技拥有遍及全球 27 个地理区域的 87 个可用区,覆盖 245 个国家。它无处不在,从城市中心的办公楼宇到工厂,到农田,到偏远地区的石油钻井和远洋作业平台,甚至看似遥不可及的太空。在行业领导力层面,亚马逊云科技连续 12 年被 Gartner 评为云计算行业的领导者。在市场占有率层面,亚马逊云科技占据全球公有云市场的 1/3 以上。在产品服务层面,亚马逊云科技是全球功能最全面的云平台,提供超过 200 项功能齐全的服务,而且每年推出的新功能或服务数量飞快上涨。在用户及生态层面,不仅拥有数百万客户,还拥有最大且最具活力的社区。

图 1 Gartner2022 年云基础设施和平台服务魔力象限

那么,究竟是什么驱动亚马逊云科技一直在高速发展?是创新!创新是亚马逊云科技发展的最大最持久驱动力。在笔者看来,亚马逊云科技的创新体系至少包括技术创新、商业创新、生态创新、用户创新四大层次。

  • 技术创新

    亚马逊云科技技术上的创新不胜枚举。2006 年首开行业先河,发布 S3 存储服务、SQS 消息队列及 EC2 虚拟机服务,正式宣告了云计算时代的开启。2007 年发表了被认为是 NoSQL 技术开山之作的 Dynamo 论文,2012 年进而发布 Amazon DynamoDB 服务。2014 年推出 Amazon Lambda 服务,开创了无服务器计算领域的先河,第一次使开发人员无需预置或管理服务器即可运行其代码。2017 年发布完全托管的机器学习服务 Amazon SageMaker,让日常开发人员和科学家无需任何前置经验即可运用机器学习。亚马逊云科技一直在探索前人未走过的路,很多都是改变游戏规则的创新。它一直被模仿,从未被超越。(备注:关于 Amazon Serverless,可阅读笔者的《亚马逊云科技 15 年:从 Serverful 到 Serverless》一文)。

  • 业务模式创新

    亚马逊云科技在业务模式创新上一直在推陈出新。亚马逊云科技的出现,本身就是一项伟大的业务创新。2006 年,Amazon 将闲置 IT 资源变成服务卖给其它企业,采用订阅制和按量付费的计费方式,开了云计算先河,开始改变整个 IT 世界。2009 年,亚马逊云科技将闲置的 EC2 实例以拍卖的方式提供给用户,发布了 Amazon Spot Instance,这又创造了闲置云资源的全新售卖模式。在分布式云模式上,亚马逊云科技拥有覆盖范围领先的全球云基础设施,从各地理区域和全球骨干网向各种边缘拓展,包括中心城市、5G 公网、5G 专网、客户本地数据中心、物联网乃至太空。(备注:关于亚马逊云科技分布式云,可阅读笔者《从混合云到分布式云》一文)。

  • 生态创新

    亚马逊云科技拥有全球最大且最具活力的云上生态社区。云生态已经成为云计算棋局中的胜负手。当用户对云计算的关注点从基础架构延展到云上应用时,势必对提供云计算服务的厂商提出更多更高的要求,这也促使云厂商与应用开发者更紧密地进行生态合作和融合,致力于提供一个架构灵活、敏捷开发、安全可靠的云计算基础平台,而众多的开发者和 SaaS 厂商则致力提供种类丰富的应用。亚马逊云科技一直在引领云生态创新,其创新性产品和服务也层出不穷。2012 年亚马逊云科技成为第一个推出云市场的云基础设施提供商。如今,亚马逊云科技在全球有超过 12 万家合作伙伴,分布在 150 多个国家,其云市场提供 12000 多个软件产品,已成为最大最健全最活跃最有生命力的云生态系统。

  • 用户创新

    亚马逊云科技一直致力于成就探路者。视频行业中,十多年前 Netflix 大胆地把所有 IT 基础设施迁移到了亚马逊云科技上,不仅重塑了自己的业务,更是重塑了整个娱乐产业,成为云计算发展史上的经典用户案例。金融业中,Capital One 在 2020 年完成了从数据中心到 亚马逊云科技的迁移,成为美国首家宣布全面转向云的银行。广告行业中,Untold Studios 完全基于云端的工作室,重塑广告制作模式。亚马逊云科技上的客户创新成果例子不胜枚举。应该说,如果没有如此多的客户的成功,那就不会有今天亚马逊云科技的成功。

接下来,笔者将用 8 个具体生动的例子来阐述亚马逊云科技是如何进行创新的。

技术创新案例两则

1. Amazon Ground Station 服务,软件定义的卫星地面站。

自从 1957 年前苏联发射了人类历史上第一颗人造卫星,迄今为止,世界各国已将数以万计的卫星送上太空。卫星对地球人的日常生活越来越重要,比如娱乐、军事、通信和导航等。2020 年,我国首次将卫星互联网纳入新基建范畴,卫星互联网建设上升至国家战略性工程。2021 年,SpaceX 首席执行官埃隆·马斯克表示,SpaceX 正在快速推进其星链卫星互联网计划,将发射数万颗卫星上天。

图 2 人造卫星

卫星通信系统是指利用人造地球卫星作为中继站转发或发射无线电波,实现两个或多个地面站之间,或地面站与卫星之间通信的一种通信系统,主要由空间段、地面段与用户段构成。

图 3 卫星通信系统原理示意

其中,地面站,又称地球站或地球终端站,是卫星通信系统的一个重要组成部分。地面站的基本作用是向卫星发射讯号,同时接收由其它地面站经卫星转发来的信号。卫星地面站的建设和卫星数据获取能力已经成为国家生态环境、国防安全、地球科学技术发展的重要部分。世界各国以巨大的投入在全球建立卫星地面接收站,其推动力即在于此。

过去,卫星地面站一般都需要卫星所有者自行建立或租用,而且为了保证接收和发送效果,要求地面站分布在全球各个地方。所以,一方面,需要大量的资本投入和运营成本;同时,站点的数量很难满足大规模卫星应用的需求。如此高昂的成本,对很多用户尤其是近年来蓬勃兴起的卫星初创公司来说是难以承担的。因此,这种传统地面站建设和使用模式亟待创新性重塑。

图 4 卫星地面站天线

2000 年,亚马逊前 CEO 杰夫·贝佐斯创立了蓝色起源 Blue Origin,这家火箭公司想低成本的将卫星送入太空。2018 年,亚马逊云科技创新性地推出名为 Amazon Ground Station 的新服务,向卫星初创公司提供低成本的软件定义的地面站基础设施。

Amazon Ground Station 提供了一个可分时租用的、云服务形式的、由分布在全球多个区域的地面站组成、紧邻亚马逊云科技基础设施区域全球网络的全球网络。借助 Amazon Ground Station,用户无需再担心购买、租赁、构建、扩展或管理您自己的卫星地面站。

Amazon Ground Station 服务可让客户使用由全球数十个地面站组成的全托管网络,经济高效地从卫星下载数据到亚马逊云科技全球基础设施区域。这是一项完全托管的服务,可用于控制卫星通信、处理数据和扩展运营,而无需考虑如何构建或管理自己的地面站基础设施。借助它,用户可以直接访问亚马逊云科技服务和亚马逊云科技全球基础设施(包括低延迟全球光纤网络)。

例如,使用 Amazon S3 存储已下载的卫星数据,使用 Amazon Kinesis Data Streams 管理从卫星接收的数据,使用 Amazon SageMaker 构建适用于您的数据集的自定义机器学习应用程序。

图 6 Amazon Ground Station 服务架构原理

和其它云计算服务一样,用户无需做出长期使用承诺,只需按实际使用时间付费;可依靠地面站的全球覆盖范围随时随地下载数据,根据业务情况按需快速扩展卫星通信规模,从而节省多达 80% 的地面站成本。

Amazon Ground Station 地域分步广泛,每个区域都配备多个天线,您可以直接将卫星数据下载到某个亚马逊云科技区域进行即时处理。

图 7 亚马逊云科技卫星地面站网络节点分布

Amazon Ground Station 是全球第一个全托管的地面站即服务,它正在改变卫星地面站的建设和运营模式,必将深刻地影响卫星通信行业。这项服务也使得亚马逊云科技服务网络从地面延伸至太空。

2. 亚马逊云科技自研定制芯片,开启以云重新定义 IT 硬件的新时代。

过去,云计算的创新集中在软件领域;现在,云计算深入整个基础设施。其中,芯片创新是发生在最底层的创新,往往也是最具颠覆性的,芯片层面的创新是改变云计算游戏规则的能力。亚马逊云科技的自研芯片之路,开业界先河,引业界潮流。一路走来,走得非常坚定,非常快速,成果丰硕。它是一个亚马逊云科技强大技术创新能力的例证。

2013 年亚马逊云科技推出首颗 Nitro 芯片,2015 年以 3.5 亿美元收购芯片制造商 Annapurna Labs,2018 年发布第一代服务器芯片 Graviton,2020 年起推出第一代定制推理芯片 Inferentia 和训练芯片 Trainium。这家最先涉足自研芯片的公有云厂商,已拥有网络芯片、服务器芯片、人工智能机器学习芯片三条产品线。产品上包括 4 代网络芯片 Nitro、3 代服务器芯片 Graviton、1 代 AI 推理芯片、1 代 AI 训练芯片。从现在这个穿越的视角往回看, 这 3.5 亿美元就撬动了超过 4000 亿美元的全球云计算市场 。

图 8 亚马逊云科技自研芯片家族

Amazon 网络芯片 - Nitro 芯片

Amazon Nitro 芯片的研发可追溯到 2013 年。亚马逊云科技杰出工程师 James Hamilton 早在 2014 年就有意无意地说过,基于 Arm 的数据中心芯片的研发速度太慢,性能也无法和 x86 芯片相比。在 2016 年的 re:Invent 大会上,James Hamilton 就从口袋里拿出了亚马逊云科技自研的第一颗数据中心芯片。它其实并不是 CPU 处理器,而是一个网络芯片,主要用来支持 2x25G 以太网的数据包处理。这就是亚马逊云科技第一颗 Nitro 芯片。

一年之后,亚马逊云科技发布了新一代的 Amazon EC2 C5 实例。和前一代的产品相比,C5 实现了 25% ~ 50%的能效提升,并且也引入了对裸金属的支持。这些提升背后,就是 Amazon Nitro 带来的系统重构。

为什么一代 Nitro 就能带来这么高的能效提升呢?这是因为,Nitro 将虚拟化功能从宿主机服务器卸载到 Amazon Nitro 专用芯片上运行,配合一个轻量级的 Hypervisor,将虚拟化对物理机性能的损耗降低到低于 1%。而传统物理服务器中,Hypervisor 通常会占用大约 30%的系统资源。在下图所示的高性能计算测试场景中,基于 Nitro 的虚机实例宿主机和裸金属服务器相比性能上相差无几。

图 9 裸金属物理机和 Nitro 宿主机在 HPC 场景下的性能对比(来源:亚马逊云科技)

Amazon 服务器定制芯片 - Graviton 芯片

2018 年的 re:Invent 大会上,亚马逊云科技发布了 Amazon Graviton 第一代处理器。接着,2020 年推出了第二代,2021 年推出了第三代。推出速度之快令人咂舌,而且,更难能可贵的是每代都取得了极大的飞跃和提升。Graviton 系列 Arm 服务器芯片可以说是当今数据中心市场上产量最大的 Arm 服务器芯片。

基于 Graviton2 的实例相对于可比较的基于第五代 x86 的实例,它们为各种各样的工作负载提供了高达 40%的性价比提升。这种提升的关键是在其架构设计上。与 x86 不同的是,Graviton2 每一个核只跑一个线程,只完成一个任务,而且每个核有自己独享的 L1 和 L2 的缓存,互相不干扰,这使得它能够最大程度地去适应云原生环境中需要平行扩展的微服务化应用。曾经有用户表示,“通过使用 Amazon Graviton2 实例来处理我们在 MQTT 网关服务的协议解析和长连接状态,CPU 性能提升 100%,服务器单价降低了 20%,整体的性价比提升了 2.5 倍”。如今,亚马逊云科技有 12 个实例系列由 Amazon Graviton2 处理器驱动。

Graviton3 处理器与 Graviton2 处理器相比,其计算性能提高多达 25%,浮点性能提高多达 2 倍,以及加密工作负载性能最多加快 2 倍,基于前沿 DDR5 内存技术的内存访问速度提高了 50%,在同样的性能上最多可以节省 60%的能源。2022 年 5 月,亚马逊云科技宣布了其由最新的 Amazon Graviton3 处理器支持的 Amazon EC2 C7g 实例。该实例支持高达 128GiB 的内存配置、30Gbps 的网络性能和 20Gbps 的 Amazon Elastic Block Store 性能。

图 10 Amazon 基于 Gravition3 芯片的实例 C7g

目前,Graviton 仍然是亚马逊云科技上性价比最好的 CPU 芯片。所谓性价比,就是用价格除以性能,在单位性能下,价格越低越好。对于那些每天都得跑成千上万次计算的大公司,用 Graviton 芯片能让他们每年省下几百万甚至几千万美金。

亚马逊云科技定制 AI 推理芯片 - Inferentia

最近十年,AI 崛起,机器学习浪潮经久不息。尤其是深度学习这个分支,已经应用到了我们生活的方方面面,比如各种 App 和网站的推荐算法、语音识别、视觉识别等。深度学习模型的规模也在爆炸性增长,从几年前的几百万参数,到最近新出模型的几百亿参数。这些都对底层的计算平台提出了非常高的要求。

图 11 机器学习模型复杂度发展曲线(来源:亚马逊云科技)

深度学习分为训练和推理两步。深度学习模型先经过训练把所有误差降到最低,然后投入使用,也就是进行推理。训练过程是很难很慢的,大的模型需要训练几天甚至几周。好在过程是一次性的,一个训练好了的模型可以被无数次重复使用。大的商用模型每天要跑上万次推理。所以通常推理所需的花费才是公司支出的大头。

亚马逊云科技坐拥世界上最大的云计算平台,有极好的用户基础。2018 年,在亚马逊云科技的 AI 战略布局下,Annapurna labs 开始做机器学习芯片。2018 年底在亚马逊云科技 re:Invent 上宣布,2020 年正式推出 Inferentia 芯片和 Amazon Inf1 实例。Inferentia 是专门为深度学习设计的芯片,旨在以低成本提供高性能推理。Inf1 是当时云端深度学习推理领域性价比最好的实例,它具有多达 16 个 Amazon Inferentia 芯片。与当时基于 GPU 的 Amazon EC2 实例相比,吞吐量最高可提高 2.3 倍,每次推理的成本降低多达 70%。

Inferentia 面世不久就收获了许多大大小小的客户。Amazon 内部最大的客户是 Alexa,它被加速了 25%,成本被降低了 30%。在 Amazon 外部,最开始的客户包括 Airbnb, Snapchat, Pinterest 等,后来又逐渐吸纳了 Bytedance, Facebook, Apple 等大公司。

图 12 Amazon Inferentia 机器学习推理定制芯片

AWmazon 定制 AI 训练芯片 - Trainium

Inferentia 推理芯片获得成功之后,Annapurna labs 又开始马不停蹄地开始训练芯片 Trainium 的开发。2020 年,亚马逊云科技宣布推出专门用于训练机器学习模型的定制芯片 Trainium。Amazon Trainium 支持 TensorFlow、 PyTorch 和 MXNet,可以提供比任何竞争对手更高的性能。

图 13 亚马逊云科技机器学习训练定制芯片 Trainium

两年后的 2022 年 10 月,亚马逊云科技发布了 Trn1 EC2 实例。该实例支持多达 16 颗 Trainium 芯片,是云端最快的深度学习实例。在 Trn1 上运行 Hugging Face BERT 大模型,其性能对比 GPU 实例有 42%的提升,成本降低了 54%。Trn1 第一次把实例的网络带宽提高到了 800GB,而 10 年前连 10GB 的网络带宽都难以达到。

图 14 亚马逊云科技基于机器学习训练定制芯片 Trainium 的实例 Trn1

亚马逊云科技的三大类自研芯片组成的家族是其强大技术创新能力的杰出代表。他们一方面“量体裁衣”,把更丰富的产品的选择权交给客户,为客户不断变化的工作负载提供更好的云服务,同时为客户不断优化云服务的性价比。

最后,实事求是的说,比起 Nvidia 的 GPU 和 Google 的 TPU,亚马逊云科技的两款 AI 定制芯片在普适性以及软件工具链的成熟度上都还有很长的路要走。但是,有亚马逊云科技这个独一无二全球第一的云计算平台为其提供源源不断的客源和应用场景,相信亚马逊云科技的芯片之路会越走越好,越走越宽。

业务模式创新案例两则

1. 自亚马逊云科技兴起,云计算永久地改变了 IT 模式。

很多人说,云计算的核心创新是业务模式的创新,因为云计算永远地改变了 IT 业务模式。

在云计算出现之前,如果用户想提供基于 Web 的解决方案,就需要拥有实际的服务器等硬件。在业务刚刚起步时,可以使用放置在地下室里的塔式服务器。随着业务一步一步做大,就必须进入商业空间即数据中心了,因此这时您不仅仅需要一些服务器,还有负载平衡器、交换机、机柜等等。

让我们看一组在美国早期的数字。在上世纪 90 年代后期,为了建立 35 个数据中心,有人花了一年多的时间花费了近 3 亿美元在服务器、路由器和电源基础设施上才让一切运行起来,还不包括建筑物成本。10 年后的 2006 年前后,一个 50U 机柜起价约为每月 2000 美元,可放置六台基于英特尔的服务器,支持 RAID 存储、交换机、负载平衡器等——所有这些可能至少要花费 8 万美元,还需要商业互联网服务,这将每月花费 500 到 2000 美元。而且,这种配置还不能承载太多负载,最多能承受几千个用户同时使用。所以,你的业务越受欢迎,你就需要越多的东西,更多的机柜、更多的服务器,更多的网络设备、更高带宽的互联网服务,以及更多的维护人员。这些会让你的月账单变得越来越长。

而今天,如果需要 35 个数据中心的空间,您可以在亚马逊云科技上编写一些 CloudFormation 脚本,在您泡一杯茶这么一点点时间,一切都会被自动创建并运行起来,并且每小时只花费大约 350 美元。还可以从每月 200 美元左右开始,然后自动缩放到所需要的任何规模。您一点也不担心“不够”,因为亚马逊云科技的规模近乎无限;您完全不用担心买得太多,因为可以随时释放不需要的东西。您的投资者也会喜欢这种模式,因为这完全消除了整个技术层面的风险,并将资本支出降至几乎为零,并大大减少了员工支出。

这种变化绝对是革命性的!这种革命性改变,亚马逊云科技功不可没。虽然亚马逊云科技并不是第一个公有云基础设施服务,但他们比之前的任何人都做得更大更好,而且价格也更实惠。

从 2006 年开始提供存储、计算和队列服务起,现在的亚马逊云科技拥有超过 200 项全功能的服务。而且,所有这些都正在变得越来越便宜。如今,我们认为理所当然的大部分世界 - Netflix、Twitch、LinkedIn、Facebook、Turner Broadcasting、BBC、ESPN、Adobe、AirbnB、Slack……都在亚马逊云科技中。

所以,是的,亚马逊云科技永久地改变了 IT 模式,使我们能够自由、按需、实时地创建现代网络世界。因此,云计算不仅仅是技术。作为一个业务模式,它是颠覆性的,这是其最重要的方面之一。这种改变,使得海量的小企业和初创企业可以利用企业级服务和基础设施,以及大型科技公司正在使用的技术,让这些不再成为它们进入市场的巨大障碍。这甚至改变了竞争环境,让各行各业在同一起跑线上自由竞争,让单一技术垄断成为过去。

2. Amazon Spot Instance 实例,创造了公有云虚机实例全新定价方式。

拍卖行业是一种非常古老的行业。古巴比伦、古希腊、古埃及的拍卖是世界拍卖史上的第一个里程碑。人类历史上最早的拍卖行为,见诸于文字记载的是古希腊历史学家希罗多德在其所著的《历史》一书中对古巴比伦(公元前 1894—前 709 年)拍卖人口的一段描述。

1989 年第二版《辞海》这样写道:“拍卖也称竞买,商业中的一种买卖方式,卖方把商品卖给出价最高的人”。经济学界认为:“拍卖是一个集体(拍卖群体)决定价格及其分配的过程”。

图 15 苏富比拍卖行的拍卖现场

对于公有云厂商来说,为最大保障其云上弹性负载和未来发展需要,必然需要投资大量的 IT 基础设施,就不可避免存在相当数量的闲置资源。但是,IT 基础设施质保期非常短且更新淘汰速度非常快,所以必须要及时处理掉这些可能的闲置资源,但同时又不能影响其它业务开展。

一种最容易想到的办法是直接降价促销,但亚马逊云科技选择了另一种创新性的方式,即竞价实例。在公有云业内,亚马逊云科技首次把拍卖这一古老的商业模式和新兴的云计算完美结合起来,于 2009 年 12 月推出了 Amazon EC2 Spot 实例。这是一种购买和使用 Amazon EC2 实例的创新方式,由市场来决定真正的价格,从而达到尽可能以最合理的价格卖出最多闲置资源的目标。

在竞价实例(Spot Instance)出现之前,Amazon EC2 实例按购买模式分为两种:

  • 保留实例(Reserved Instance):这是优先级第一的实例,因为用户已经提前付过钱了,可能是按月,也可能是按年,云厂商无论如何都是不能动这些实例的。

  • 按需实例(On-demand Instance):这是第二优先级实例,用户可以随时购买随时释放。因此,这种需求波动性非常大,可能某个时间段大家用得很多,也可能正好没什么人在用。

相比较于这两种实例,竞价实例非常不一样,其业务模式极具创新性。因为其价格不像另外两种实例那样在购买时就确定了,相反,是随着供需关系的调整在不断更新的。简单整理如下:

  1. 用户出价:用户为获取实例出一个自己能接受的最高价格。这类似于拍卖出价。

  2. 云厂商定价:云厂商会动态检测当前的市场价格和库存,一旦库存不足,或者你的出价小于市场价格,你使用的资源就会被系统回收;如果当前市场的价格低于用户的出价,则用户获得新的或保留已有的 EC2 实例资源用于计算。这类似于拍卖定价。

  3. 资源使用:你的出价只是给自己设置了一个能接受的最高限价。但是,一旦你申请到了资源,亚马逊云科技会按一个不高于你出价的市场价计费。同一时间,所有买家都按同一个价格在使用资源。

图 16 拍卖漫画(来自于网络)

通过上面描述,可看出 EC2 竞价实例有两个特征:一是这种实例的价格随供需随时变化;二是如果你的出价不够高,这种实例会被亚马逊云科技随时收回。

这个价格模式非常神奇,所以笔者用它来说明亚马逊云科技强大的业务模式创新能力。本质上讲,按需实例是闲置资源被云厂商拿出来低价售卖,毕竟服务器哪怕放着不开机也是在烧钱,什么时候有用户按前面两种方式买了,这些被低价卖出去的资源就会被云厂商收回去卖给这些用户。这种创新的定价方式至少为亚马逊云科技带来三个方面的好处:

一是,充分利用价格杠杆,有效调节用户对实例资源的需求,让用户把一些时间不敏感的工作负载调整到空闲时间去运行,让亚马逊云科技的容量得到充分利用。

二是,为客户省钱。公有云用户的业务形态非常多样化。既有那些对于连续运行和实时响应要求非常高的在线业务,又有大量离线业务和实时性要求不敏感的业务,还有常见的高性能计算(HPC)场景。甚至,用户端还存在部分对于成本非常敏感的业务,这种业务当处理成本高于某个阀值后该业务的商业价值就不存在,如某些日志处理业务。在过去,无论用户的业务类型是哪种,他能获得的资源都是为在线业务所准备的。与按需实例的价格相比,使用 Spot Instance 最高可以享受 90%的折扣,这为用户的非在线业务或者成本敏感业务提供了一种超低价格的的计算资源。

三是,保障亚马逊云科技虚机类型快速迭代的同时避免老型号虚机过度闲置,以帮助其顺利实现虚拟实例迭代升级。由于 CPU、内存、磁盘等的迭代速度非常快,为保证市场竞争力,亚马逊云科技虚机类型迭代周期非常短,过去一段时间基本是一年更新一代,最新亚马逊云科技虚机类型已经是第六代了(如 2022 年 2 月 18 日发的第六代基于 x86 的产品 - 内存优化型 Amazon EC2 R6i 实例)。新老实例价格差距不大,但性能差距明显。因此,客户在购买按需实例和预留实例时倾向于最新代的虚机类型,因为它们的性价比最高。但是,由于机器质保期会比实例更新周期长几倍,所以较老类型的虚机闲置比例就会偏高。竞价实例为这些老型号闲置虚机提供了一个“去库存”的最佳途径,因为老一代的实例类型其竞价实例价格最便宜,而且波动还很小。

竞价实例是公有云售卖闲置资源的最佳方式。自从亚马逊云科技提出后,各大公有云厂商迅速跟进,已成为业界事实上的标准。

生态创新案例两则

1. Amazon Marketplace,深刻地改变了 2B 数字供应链。

智能手机被认为是过去 20 年最具影响力的技术创新之一,而苹果公司的 iPhone 是其中最杰出的代表。很多业内人士认为,真正具有革命意义的产品是苹果的另一项创新:iPhone 应用商店(app store)。对手机行业来说,2008 年推出的 App Store 远比 iPhone 意义更大,因为它重新定义了在智能手机上下载应用程序的方式。只有在应用商店吸引了无数第三方软件供应商后,智能手机才从一个略微有用的设备变成了一个革命性的平台。苹果总裁蒂姆•库克曾经说道:“App Store 是史无前例的,它的功能也改变了世界。”

Amazon Marketplace 就是 Amazon App Store。在 2012 年 Amazon Marketplace 刚推出的时候,这是一个相当新颖的创新,亚马逊云科技也随之成为第一个推出云市场的云基础设施提供商。它是一个企业级的在线应用商店,帮助客户寻找、购买、迁移并立即开始使用构建产品和开展业务所需的软件和服务。用户可使用一键部署功能快速启动预先配置的软件,只需按实际使用量付费。亚马逊云科技负责处理账单和付款,而且软件费用就显示在客户的亚马逊云科技账单上。

图 17 Amazon Marketplace logo

到 2014 年,亚马逊云科技市场中已经有超过 500 个领先同类的销售商,如思科、帕洛阿尔托网络、趋势科技和 F5 等等。他们推动 Amazon Marketplace 成为第一个推出年度订阅的云基础设施市场。

2016 年,转向云计算的客户告诉亚马逊云科技,他们开始青睐 SaaS。现在,Amazon Marketplace 中有超过 1000 种 SaaS 产品,其中许多产品来自人们耳熟能详的供应商,如趋势科技、 F5、 Datadog、MongoDB、Databricks 和 Snowflake。客户越来越喜欢 SaaS,因为不再需要管理他们自己的部署。

去年,亚马逊云科技销售了数十亿美元的产品和服务,这一数字继续快速增长。如今,亚马逊云科技在全球有超过 12 万家合作伙伴,分布在 150 多个国家。Amazon Marketplace 在全球提供了 12000 多个软件产品,覆盖安全、联网、存储、机器学习、IoT、商业智能、数据库和开发运营等 60 多大类。越来越多的人认为,通过提供如此多的方式来购买和部署如此多的数字商品,Amazon Marketplace 正在“改变数字供应链”。

2. 亚马逊云科技 + Snowflake,云生态合作的典范

任何数据仓库(Data Warehouse)的核心思想是将来自多个独立数据源(如 CRM、 OLAP/OLTP 数据库、企业应用程序等)的数据集成到一个单一的集中位置,用于分析和报告。

Snowflake 在 2014 年正式推出,是基于云的企业级数据仓库的一个优秀代表,它提供 SaaS 解决方案和一个 SQL 查询引擎。与传统同类产品不同的是,Snowflake 只为公有云设计,天然云原生,不能在本地运行。该平台为数据存储、处理和分析提供了快速、灵活和易于使用的方案。它最初构建在亚马逊云科技之上,后来也可在谷歌云和微软 Azure 上使用。

图 18 Snowflake 架构原理示意

早在 2013 年,亚马逊云科技就发布了一个和 Snowflake 类似的产品 - 云数据仓库服务 Redshift。这让两家的关系变得非常微妙而又引人深思。几年下来,亚马逊云科技与 Snowflake 之间的关系经历了一个动态的弧线,两家公司在合作精神的指引下,从竞争对手演变为友敌,再演变为为共同客户服务的更具战略意义的盟友。

2015 年,亚马逊云科技和 Snowflake 之间是压倒性的竞争者关系。

2017 年,亚马逊云科技发布了 PrivateLink,这是当时最新一代的 VPC 终端节点,它允许在 Amazon VPC 之间进行直接和安全的连接,而无需经过公共互联网。Snowflake 团队与亚马逊云科技产品团队密切合作,将 PrivateLink 与 Snowflake 集成,成为首批合作伙伴之一。这种合作,使得让具有严格安全策略的客户能连接到 Snowflake。这种三赢结果,让后面两家的关系变化埋下了伏笔。

2019 年前后,亚马逊云科技和 Snowflake 有大约 30 个联合客户交易,这让他们的关系开始转变。他们开始建立一个共同的战略:集中在共同的客户用例上,围绕迁移大型客户和他们的数据导向的工作负载到亚马逊云科技上的 Snowflake 上。通过紧密合作,双方开始意识到,两家不一定需要竞争,还可以联合起来为他们共同客户提供差异化的、最好的解决方案。

2020 年中期 IPO 之前,Snowflake 公司透露,它已承诺在 2025 年 7 月之前投入 12 亿美元用于亚马逊云基础设施服务。显然,随着时间的推移,两家的关系已经完全发生了变化。笔者相信,是两家“以客户为先”的经营理念和类似的 DNA,帮助创造了这种变化的空间。

现在,Snowflake 有 20 多个横向产品与亚马逊云科技集成,这是其云提供商合作伙伴中最多的。在亚马逊云科技 re: Invent 2021 上,Snowflake 成为 Amazon AI 数据分析(AIDA)解决方案的首批重要合作伙伴。它还深化了与 Amazon SageMaker (亚马逊云科技的旗舰机器学习服务)的整合,并且是 SageMaker Canvas 的首批唯一合作伙伴。

如今,Snowflake 已经成为亚马逊云科技最大的合作伙伴之一,并拥有众多联合客户,从医疗保健公司 Anthem 到全球航运和邮寄公司 Pitney Bowes,再到金融服务提供商西联汇款(Western Union)。

图 19 亚马逊云科技和 Snowflake 紧密合作

亚马逊云科技最终意识到,像 Snowflake 这种合作伙伴在其平台上获得成功时,它自己也受益匪浅。因为,当客户选择合作伙伴提供的服务,作为底层云服务提供商的亚马逊云科技就会获得合作伙伴提供的服务的消费分成和底层云资源的使用。公开数据显示,虽然 Snowflake 目前也运行在微软 Azure 和谷歌云平台上,但其相当大部分业务运行在亚马逊云科技公有云基础设施上。

我们经常听到“生态系统”这个词,而生态系统成功的关键是双方如何最大限度地为客户提供最好的结果。在亚马逊云科技和 Snowflake 项目中,我们看到的是一个真正的云生态系统。这是云生态成功的一个典范,值得全云计算行业深入研究。

用户创新案例两则

1. Untold Studios 100%基于云端的工作室,重塑广告制作模式。

一年一度美国春晚“超级碗(Super Bowl)” - 第 56 届美国职业橄榄球大联盟年度冠军赛,在北京时间 2022 年 2 月 14 日晚上落下帷幕。“超级碗”历来都被奉为美国年度收视率最高的赛事,平均收视率在 40%-60%之间,今年光是 NBC 直播的观看人次就高达 9918 万,也就是说,每 3 个美国人里,就有一个人在观看超级碗比赛。

为了推广 Flamin’Hot 爆辣系列零食,百事旗下休闲零食公司 Frito-Lay(菲多利)脑洞大开,联合广告制作公司 Untold Studios 公司制作了超级碗广告短片《Push It》。它讲述了一个有趣的故事,动物研究员在森林考察的时候,不小心掉出了两袋未吃完的爆辣薯片,树懒、梅花鹿、水牛、棕熊等动物们都闻味而来,对薯片伸出了欲望之爪,最终都被奇特美妙的味道征服,犹如打开了新世界大门。广告中,树懒和其他动物一边唱着音乐组合 Salt-N-Pepa 的《Push It》,一边吃着火辣辣的零食。

图 20 菲多利超级碗广告短片《Push It》片段

光鲜亮丽的视觉背后鲜为人知的是,整个《Push It》广告是都在云上制作的。Untold Studios 公司仅花了短短 6 周时间,就在亚马逊云科技上建立了云上工作室,让来自全球的 45 个艺术家在创纪录的短时间里面创建 7 个 CGI 生物,让这一群动物栩栩如生地呈现出来。这开了业界先河,为广告制作带来了全新模式。

在传统的广告制作工作模式下,这种大项目在如此短的时间内是不可能按时完成的。因为传统的广告工作室中,要有大量的专用软件和高性能机器,使艺术家能够完成渲染。艺术家也倾向于把大部分时间粘在机器上,等待渲染结果出来。这种模式的限制很明显,即艺术家必须在现场工作。

Untold Studios 另辟蹊径。这家成立于 2018 年的工作室,是世界上第一家 100%基于云计算的工作室,提供了超强的渲染和处理能力,包括视觉效果、动画以及 2D 和 3D 设计的云工作流。正是其创始人贯穿于整个业务的心态: 创造力和创造一种合作文化,在短短三年内由只有六个人变成了 170 个人,成为了一些音乐界最令人垂涎的名字的合作伙伴,还获得了艾美奖和英国电影学院奖的提名。

Untold Studios 的云上工作室带来了新的、令人兴奋的工作方式的可能性。

一是艺术家们可随时随地访问云上工作室。艺术家不会被限制在工作室的大院里ーー他们可以在世界任何地方工作,而且还能提高工作效率。工作室可以节省资金和技术资源,同时确保数据安全可靠。艺术家们的工作有了更多的灵活性,可以更快地迭代和创建,能更多地关注创造性方面。当新冠疫情爆发时,Untold 的团队几乎没有什么变化,因为员工能够在家工作,通过 VPN 远程接入云上工作室。

二是获得了足够弹性、协作和效率。当一个新业务使得工作室必须迅速扩大规模,以便按时完成一个项目时,云工作室可以从世界各地请来艺术家,虚拟工作站允许这些艺术家远程工作,云提供足够的资源。

三是利用最新的技术。Amazon EC2 G4 实例为 Untold Studios 提供了最新的视觉计算平台,以加快创意工作流程,减少上市时间,并提高设计质量。

图 21 Amazon G4dn 实例

2. 美巡赛“每一次击球直播”App 让球迷做“制片人”,革命性地改变了高尔夫比赛的报道方式。

美国 PGA 巡回赛(PGA Tour,简称“美巡赛”)是一项美国职业高尔夫球系列赛事的统称,开始于 1929 年,走过了近一百年的征程,是世界顶级的高尔夫职业巡回赛,每年举办超过 130 场职业赛事。在世界范围内,美巡赛的赛事在二百多个国家和地区近 10 亿户家庭中播放。

图 22 PGA Tour 比赛瞬间

与其它运动不同的是,高尔夫球场上不止一个球,这使得球迷很难了解每个球员的表现。以“球员锦标赛”(The Players Championship,也是 PGA 巡回赛事之一,拥有全世界最顶尖的参赛阵容,被称为“第五大满贯”)为例,144 名高尔夫球手在 72 个洞中投出超过 32,000 个球。遗憾的是,传统电视节目平均只能播出 11%的比赛。显而易见的是,这没法满足专业球迷越来越高的个性化观赛需求。

图 23 球员击球进洞

2021 年,PGA Tour 决定创新球迷观赛方式,在这年的球员锦标赛上通过开创性的粉丝应用程序“每一次拍摄现场(Every Shot Live)”来让球迷获得更好的体验。该应用程序让球迷通过直播关注他们喜欢的任何球员,让他们坐在制片人的位置上,对他们自己看到的内容有更多的控制权,观看几乎所有球员的每一次击球,比如球飞行的轨迹、球员的动作和球员历史的统计数据,这样就提供给球迷类似于一种游戏的沉浸式体验。

在这创新观赛方式的背后,是 2021 年 3 月 PGA 选择亚马逊云科技作为巡回赛的官方云服务提供商,包括官方云供应商、人工智能云供应商、深度学习云供应商和机器学习云供应商。

图 24 亚马逊云科技和 PGA Tour 合作

PGA Tours 使用亚马逊云科技机器学习、存储、计算、分析、数据库和媒体服务来快速处理和分发每场高尔夫锦标赛的视频片段,同时也为球迷提供了参与 Tours 内容的新方式。巡回赛在每次比赛中捕捉数百小时的原始画面,并将利用亚马逊云科技迅速将这些内容转换成令人兴奋的新数字体验,为球迷提供更完整和个性化的体验。

例如,Every Shot Live App 为观众提供比赛中每位选手的每个镜头的现场直播。球迷可以选择实时关注任何一个球员,并在他们选择的任何设备上播放每一个镜头,允许他们通过不同的摄像角度改变他们的观看视角,在球场周围导航,查看速度轮,并根据需要显示各种数据,这给球迷提供视频游戏般的高尔夫观看体验控制。

图 25 PGA Tour Every Shot Live App 使用示意

PGA Tour 的创新,提供了全新的球迷驱动型体验。这对球迷来说是一个游戏规则的改变,这对比赛报道来说也是一个游戏规则的改变。美巡赛数字运营高级副总裁斯科特·古特曼将“Every Shot Live”描述为“高尔夫报道的未来”和“美巡赛有史以来最激动人心的技术事业之一”。来看看他们的广告语:“每个球员。每个球洞。每次挥杆。实时。”

结尾:云计算的创新永无止境

笔者前文所阐述的亚马逊云科技四层创新体系如图 27 表示。在笔者看来,亚马逊云科技的创新不是单一的,而是立体的;不是封闭的,而是开放的;不是以自我收益为中心的,而是以客户成功为中心的。应该说,没有创新,就没有亚马逊云科技的诞生,就没有云计算的今天。然而,笔者清楚明白的是,亚马逊云科技的创新理念、创新产品、创新历史、创新故事远远不是这区区一万文字所能表达和阐述清楚的。

图 27 亚马逊云科技四层创新体系

十六年来,云计算早已从抽象的概念走向生活的方方面面。也许,你还是说不清什么是云计算,但我们早已离不开这个幕后英雄。

Amazon CTO Werner Vogels 博士曾经说:“现如今,人们可以创建出具有高度可扩展性和可靠性的应用,比如 Airbnb、Uber 或 Dropbox 等等,而这在之前是不可能的。如果没有云平台出现,这些服务都将不复存在。”

其实,不止亚马逊云科技,还有更多的云计算参与者,像微软云 Azure、谷歌云 GCP、阿里云、腾讯云、华为云、RackSpace、OpenStack 等等,都是云计算的历史创造者和创新实践者。不止云计算厂商,还有千千万万的云计算用户们和从业者们。正是他们,正是你们,正是我们,一起在创造着云计算的历史,一起在推动着云计算成长,也一起在创造着云计算的未来。云计算的征途是汪洋大海,创新无止境,云计算的发展永不停歇。

本篇作者

刘世民

云计算技术专家,曾就职于华为、IBM、海航等公司,专注于云计算。曾在海航集团易航科技担任云服务事业群总经理一职,负责 IDC、云平台、系统运维、信息安全以及用户服务等业务。维护有“世民谈云计算”技术博客和微信公众号。《OpenShift 云原生架构原理与实践》作者之一、《Ceph Cookbook 中文版》《精通 OpenStack》、《机器学习即服务:将 Python 机器学习创意快速转变为云端 Web 应用程序》译者之一。

阅读原文:https://dev.amazoncloud.cn/column/article/63bd12a77ddc95285eaccd38

用户头像

还未添加个人签名 2019-09-17 加入

进入亚马逊云科技开发者网站,请锁定 https://dev.amazoncloud.cn 帮助开发者学习成长、交流,链接全球资源,助力开发者成功。

评论

发布
暂无评论
亚马逊云科技启示录:创新作帆,云计算的征途是汪洋大海_云计算_亚马逊云科技 (Amazon Web Services)_InfoQ写作社区