自去年 11 月发布以来，ChatGPT 吸引了全球各行业人士的注意力和想象力。人们将它用于各种任务和应用程序，而且它有可能改变流行的应用程序并创建新的应用程序。

但 ChatGPT 也引发了微软和谷歌等科技巨头之间的人工智能竞赛，使得该行业在大型语言模型(LLM)上的竞争更加激烈，并越来越降低了开放性。这些遵循指令的 LLM 的源代码、模型架构、权重和训练数据不对公众开放。它们中的大多数都可以通过商业 API 或黑盒网络应用程序获得。

ChatGPT、Bard 和 Claude 等封闭式 LLM 有很多优势，包括容易获得尖端技术。但它们也对想要学习和更好地理解 LLM 的研究实验室和科学家带来了一些限制。对于想要创建和运行自己的模型的企业和组织来说，也很不方便。

幸运的是，在创建商业 LLM 的竞赛中，也有一个社区努力创建与最先进的 LLM 性能相匹配的开源模型。这些模型可以通过分享结果来帮助改进研究。他们还可以帮助防止一些资金充足的企业对 LLM 市场拥有太多的影响和权力。

LLaMa

最重要的开源语言模型之一来自 Meta 公司的人工智能研究实验室 FAIR。今年 2 月，FAIR 发布了 LLaMA，这是一个 LLM 家族，有四种不同的大小：7 亿个、13 亿个、33 亿个和 650 亿个参数（ChatGPT 基于 1750 亿参数的 InstructGPT 模型）。

FAIR 研究人员对 1.4 万亿令牌的 LLaMA 65B 和 LLaMA 33B 进行了训练，对 1 万亿令牌的最小模型 LLaMA 7B 进行了训练（GPT-3 175B 是 InstructGPT 的基本模型，在 4990 亿个令牌上进行了训练）。

LLaMa 不像 ChatGPT 那样是一个遵循指令的 LLM。但 LLaMA 规模较小背后的想法是，在更多令牌上预训练的较小模型更容易重新训练，并更容易针对特定任务和用例进行微调。这使得其他研究人员可以通过人类反馈强化学习(RLHF)等技术对模型进行微调，使其具有类似 ChatGPT 的性能。

Meta 公司以“专注于研究用例的非商业许可”发布了该模型。它只让学术研究人员、政府附属组织、民间社会和研究实验室根据具体情况访问该模型。人们为了了解可以查阅一些论文，并请求访问训练过的模型。

LLaMa 模型在发布后不久就被泄露到网上，这实际上让所有人都可以使用它。

Alpaca

斯坦福大学的研究人员在今年 3 月发布了 Alpaca，这是一种基于 LLaMA 7B LLM 之后的指令。他们在由 InstructGPT 生成的 52,000 个指令遵循示例的数据集上对 LLaMA 模型进行了微调。

研究人员使用了一种叫做自我指导的技术，在这种技术中，LLM 生成指令、输入和输出样本来微调自己。自我指导从一小部分工作人员编写的例子开始，包括指导和输出。研究人员使用这些例子来提示语言模型生成类似的例子。然后他们审查和过滤生成的示例，将高质量的输出添加到种子池中，并删除其余的输出。他们重复这个过程，直到获得足够大的数据集来微调目标模型。

Alpaca 的训练流程：

根据他们的初步实验，Alpaca 的表现与 InstructGPT 非常相似。

斯坦福大学的研究人员发布了整个自我指导的数据集，数据生成过程的细节，以及生成数据和微调模型的代码（由于 Alpaca 是基于 LLaMA 的，必须从 Meta 公司获取原始模型）。

其研究人员表示，其样品生成的微调成本不到 600 美元，这对于资金紧张的实验室和组织来说很适用。

然而，研究人员强调，Alpaca 仅用于学术研究，禁止用于任何商业用途。它是由 LLaMa 创建的，这使得它受到与其基本模型相同的许可规则的约束。由于研究人员使用了 InstructGPT 来生成微调数据，因此他们必须遵守 OpenAI 公司的使用条款，该条款禁止开发与 OpenAI 公司竞争的模型。

Vicuna

加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员发布了 Vicuna，这是基于 LLaMA 的遵循指令的另一个 LLM。Vicuna 有 70 亿个和 130 亿个参数的两种大小。

研究人员使用 Vicuna 的训练代码和 ShareGPT 上的 7 万个例子对 Vicuna 进行了微调。ShareGPT 是一个用户可以与 ChatGPT 分享对话的网站。他们对训练过程做了一些改进，以支持更长的对话场景。他们还使用了 SkyPilot 机器学习工作量管理器，将训练成本从 500 美元降至 140 美元左右。

Vicuna 的 LLM 训练流程：

初步评估表明，Vicuna 的表现优于 LLaMA 和 Alpaca，也非常接近 Bard 和 ChatGPT-4。研究人员发布了模型权重以及安装、训练和运行 LLM 的完整框架。还有一个非常有趣的在线演示，用户可以在其中测试和比较 Vicuna 与其他开源指令 LLM。

Vicuna 的在线演示是“仅供非商业用途的研究预览”。用户要运行自己的模型，必须首先从 Meta 获取 LLaMA 实例并对其应用权重增量。

Dolly

Databricks 公司在今年 3 月发布了 Dolly，这是 EleutherAI 的 GPT-J 6B 的微调版本。研究人员受到 LLaMA 和 Alpaca 研究团队所做工作的启发。训练 Dolly 的费用不到 30 美元，只需在一台计算机上花费 30 分钟训练。

EleutherAI 基础模型的使用消除了 Meta 对 LLaMA 衍生 LLM 的限制。然而，Databricks 根据 Standford Alpaca 团队通过 ChatGPT 生成的相同数据训练 Dolly。因此，由于 OpenAI 公司对 ChatGPT 生成的数据施加了竞业限制，该模型仍然不能用于商业目的。

Databricks 公司在今年 4 月发布了 Dolly 2.0，这是一个基于 EleutherAI 的 Pythia 模型的具有 120 亿个参数的大型语言模型。这一次，Databricks 公司在 15000 个示例数据集上对模型进行了微调，这些示例完全由人类生成。他们通过一个有趣的、游戏化的过程收集了这些例子，其中包括 Databricks 公司的 5000 名员工。

Databricks 公司发布了训练有素的 Dolly 2.0 模型，它没有以前模型的条款限制，用户可以将它用于商业目的。Databricks 公司还发布了 15K 指令遵循语料库，用于微调 Pythia 模型。机器学习工程师可以使用这个语料库来微调他们自己的 LLM。

Open Assistant

Open Assistant 是一个非常有趣的项目，这是一个类似于 ChatGPT 的语言模型，从一开始就以防止大公司垄断 LLM 市场为目的。

其研究团队将开放他们所有的模型、数据集、开发、数据收集等，这是一项全面、透明的社区努力结果。所有参与该项目的人员都是志愿者，致力于开放性。

观看其联合创始人兼团队负责人 Yannic Kilcher 的娱乐视频，可以了解 Open Assistant 的最佳方式。Kilcher 长期以来一直直言不讳地批评 OpenAI 等公司采取的封闭方式。

Open Assistant 有基于 LLaMA 和 Pythia 的不同版本。用户可以将 Pythia 版本用于商业目的。大多数模型可以在单个 GPU 上运行。

来自世界各地的 13000 多名志愿者帮助收集了用于微调基本模型的样本。该团队将很快发布所有数据以及一篇解释该项目的论文。经过训练的模型可以在 Hugging Face 上找到。该项目的 GitHub 页面包含用于训练模型和使用模型的前端的完整代码。

该项目还有一个网站，用户可以在那里与 Open Assistant 聊天并测试模型。它有一个任务仪表板，用户可以通过创建提示或标记输出来为项目做出贡献。

开源之美

最近推出开源 LLM 的努力为科技公司重振合作和共享权力的承诺做出了很大贡献，而这正是互联网最初的承诺。它展示了所有这些不同的社区如何相互帮助，共同推动这一领域的发展。

LLaMA 的开源模型帮助推动了这场运动。Alpaca 项目表明，创建调整指令的 LLM 不需要付出巨大的努力和成本。这反过来又激发了 Vicuna 项目的灵感，该项目进一步降低了训练和收集数据的成本。Dolly 则朝着不同的方向努力，展示了社区主导的数据收集工作的好处，以解决商业模型的竞业限制要求。

当然，还有其他几个值得一提的模型，包括加州大学伯克利分校的 Koala 和 LLaMA.cpp, LLaMA .cpp 是 LLaMA 模型的 C++实现，可以在 ARM 处理器上运行。在接下来的几个月，观察开源运动将如何发展以及它将如何影响 LLM 市场，将成为一件有趣的事情。

原文标题：A look at open-source alternatives to ChatGPT，作者：Ben Dickson