什么是 Token？为什么大模型要计算 Token 数

本文分享自华为云社区《【技术分享】什么是Token？为什么GPT基于Token定价》，作者：开天 aPaaS 小助手 Tracy。

在使用 LLM 大模型时，我们经常会遇到一个关键词，叫：Token。

比如：

最新版 GPT-4 Turbo 模型最高支持 128k token 上下文；

曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文；

在 GPT 商店创建角色时，核心 Prompt 最高支持 8000 token。

GPT 不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。

所以 Token 通常指的是：文本中可以被视为一个单独单位的元素，比如单词、数字或符号。

比如：我们文章经常用到的开篇问候，“大家好，我是运营黑客。”

其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”，以及中间出现的“，”和“。”，都可以被视作一个 Token。

对于文本类生成式 AI 来说，“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时，它通常分两步走：

第一步：将输入的内容分解成一个个 Token；

第二步：结合这些 Token 生成回应。

了解 Token 含义后，就很容易的明白 token 计费逻辑。

GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。

例如，你提问耗费了 100 token，GPT 根据你的输入，生成文本（也就是回答）了 200 token，那么一共消费的 token 数就是 300 。

在实际定价的过程中，因输入和输出 token 所带来的成本差异，所以会区分定价。

包含 GPT 在内的几乎所有的 LLM 的 API 都采用了 Token 计费模式：

例 1：

例 2：

例 3：

基于 Token 计费模式，第一符合产品对象增量属性；第二符合边际成本的增量属性；对开发者来说是最容易接受和理解的一种模式。

参考链接：

发布于: 6 小时前阅读数: 18

关注

提供全面深入的云计算技术干货 2020-07-14 加入

生于云，长于云，让开发者成为决定性力量

发布

暂无评论

评论