写点什么

Amazon Bedrock 划算吗?Bedrock 大模型服务定价与分析

作者:魏临
  • 2023-11-10
    北京
  • 本文字数:2237 字

    阅读完需:约 7 分钟

Amazon Bedrock 划算吗?Bedrock 大模型服务定价与分析

大模型热潮后 ,亚马逊云服务也推出了自己的 Amazon Bedrock 大模型平台,为用户提供云端的大模型全托管服务。具体来说,用户可以在 Amazon Bedrock 上托管流行的多款开源大模型,并使用简化的 API 访问模型。用户可以使用 Amazon Bedrock 训练好的基础模型,也可以使用自己的数据对这些模型进行微调。


不管是开发人员还是企业团队,在踏足大模型应用的世界时都会面临一个选项:是自建硬件基础设施来训练和推理大模型,还是直接采购托管云服务?亚马逊云服务是全球云服务的主流品牌,很多用户在考虑大模型服务时都会将 Amazon Bedrock 作为首选。那么我们就来对比一下 Amazon Bedrock 与自建基础设施的大致成本,看看该如何选择更为划算。


Amazon Bedrock 提供了多个模型选项,包括 AI21Labs、Amazon Titan、Anthropic、Cohere 和 Stability AI。我们选择大众用户使用最为广泛的 Stability AI 为例,用 SDXL0.8 AI 图像生成模型来对比价格。


Amazon Bedrock 官网提供的 Stability AI 报价如下:


可以看到单张图像的生成费用介于 0.018 至 0.072 美元之间。实践应用中,我们使用的往往是最高质量的图像,也就是每张 0.072 美元。亚马逊还提供了预配置吞吐量选项,遗憾的是我在 Amazon Bedrock 的预配置吞吐量购买选项中没有找到 SDXL 的报价:


可以看到这里只能选择 Amazon 自家的 Titan 模型与 Anthropic Claude 模型。所谓预配置吞吐量大致可以理解成计时服务,每个模型单元确保一定的吞吐效率,然后单元使用一个小时支付对应的价格。对于使用非常密集的用户来说,预配置吞吐量模式应该是比较划算的。


那么就 SDXL 模型目前的定价,Amazon Bedrock 相比用户自购设备/自建集群的方案是不是更加划算呢?我们简单分析一下。


对于个人用户,运行 SDXL 模型的初期投入是非常低的,采购一台配置了英伟达新一代 GPU(如 3070、4060 等)的 PC 即可。这类 PC 的报价可以低至 5000 元左右,并且用户买回来往往并不只是跑图像生成任务。很多用户本来就有相应的设备作为工作机,因此前期投入成本几乎可以算作零。


但对于企业用户而言,如果是为了向终端客户提供服务,那么一般就必须专门采购服务器来运行 SDXL 软件。为了保障稳定性,消费级的 GPU 往往不在考虑范围之内,企业一般需要采购多台装备 A100 甚至更高规格 GPGPU 的服务器确保服务可用性和效率。一台装备 8 张 A100 GPGPU 的服务器市场价格一般在 50 万元以上,采购 4 台就要超过 200 万元投资,对于一项试验性质的服务来说这是不小的初期投资。


设备前期采购完毕后,输出图像的可变成本主要构成就是电费了。对于个人用户,使用 SDXL 模型输出单张图像的费用几乎可以忽略不计。安装 4060 GPU 的 PC 大约 30 秒可以输出一张图像,每小时输出 120 张,PC 运行功耗 200w 左右,电费约 0.03 美元,也就是每张图像的电费成本大约 0.00025 美元,远远低于 Amazon Bedrock 的报价。


但对于企业用户,虽然输出单张图像的电费消耗只比个人用户略高,可是要向终端用户提供服务还需要构建网络传输基础设施。GPU 图像生成集群的运营维护费用、场地租金也是不可忽略的。实践中,这些成本会因为实际环境有很大波动。一个经验数值是,将这些成本计入后,单张图像的平均可变成本将从 0.00025 美元增加到 0.04 美元左右。很多企业可以通过成本优化进一步降低这一数字,我们先以它为基准来分析。


看起来,每张图像的生成成本要比 Amazon Bedrock 低 0.03 美元,但考虑到前期超过 30 万美元的投入,我们需要生成 超过 1000 万张图像,才能让全生命周期的服务成本低于 Amazon Bedrock。少量降低运营费用并不会大幅改变这一结果。考虑到在输出 1000 万张图像之前,Amazon Bedrock 很可能进一步降低了报价,或者我们提供的服务早就因为意外情况终止,实际差距可能更加悬殊。


当然,你也可以争辩说企业可以把采购来的服务器卖到二手市场来回笼资金。但考虑到硬件技术的发展飞快,我们采购的服务器售出时很可能已经比采购价低了七成以上,结果并没有数量级的改变——现在我们可能需要输出 500 万张图像才能让自建集群更划算。


更为重要的是,亚马逊云服务承诺的输出能力是可以巨量扩展的。我们只需要操心单张图像的价格,不需要操心用户量变大时要不要采购新的服务器、招聘更多运维人员,甚至租用新的场地和光纤。我们也不需要担心 GPU 缺货、购买受限之类的各种问题。所有这些都是隐形成本,却往往是企业开展服务时难以避免的。


假如我们的用户量爆棚,为此我们将集群节点的数量翻倍,前期投入的成本也要翻倍。以此类推,企业的现金流很容易枯竭。但 Amazon Bedrock 不会让我们陷入如此困境,我们只要通过 API 获取图像生成服务即可。


归根结底,亚马逊云服务通过大型云厂商的大规模采购和部署优势,将小企业自建集群所需的前期投入、运营维护、网络传输等成本都摊薄了。这就是成本巨大差距的本质原因。除了 SDXL,其他基础模型的情况也都是类似的。所以结论很简单,如果你是个人用户,要使用大模型做一些小玩意,那么用自己的 PC 来完成推理任务是首选。但如果你是企业团队领导,要在这一领域尝试拓展新的商机,那么 Amazon Bedrock 是你非常值得考虑的选项。


顺便说一句,因为 Amazon Bedrock 尚未提供 SDXL 的微调服务,上文并没有涉及这方面的对比。但在模型微调训练方面,企业自建集群的前期成本会再高一个数量级。考虑到这一点,大部分企业要在大模型领域深入发展,几乎一定要选择云服务来解决挑战。Amazon Bedrock 提供了一个很好的参照,它的报价对于企业来说是相当划算的,甚至可能是最佳选项。


用户头像

魏临

关注

一个希望被保护的小女孩 2020-06-25 加入

温暖善良

评论

发布
暂无评论
Amazon Bedrock 划算吗?Bedrock 大模型服务定价与分析_魏临_InfoQ写作社区