复旦 MOSS 大模型开源了！Github 和 Hugging Face 同时上线

作者：Openlab_cosmoplat

2023-04-25
山东
本文字数：1410 字
阅读完需：约 5 分钟

来源：量子位

复旦大模型 MOSS，正式开源了！

作为国内首个开放测试的类 ChatGPT 产品，MOSS 开源地址一放出，又冲上知乎热搜：

从官网介绍来看，MOSS 是一个拥有 160 亿参数的开源对话语言模型。

它由约 7000 亿中英文及代码单词预训练得到，精度要求不那么高的话，甚至可以在单张 3090 显卡上运行。

MOSS 支持中英双语，拥有多轮对话和使用多种插件双重能力，具备搜索引擎、文生图、计算器、方程求解的“技能点”。

目前，MOSS 在 GitHub 上已有 2.3k Star，热度还在持续上涨中。

那么，MOSS 究竟开源了哪些项目，目前有哪些功能？一起来看看。

会解方程，也能生成图片

据了解，这次 MOSS 开源的是第三轮迭代版本，名叫 MOSS 003。

当然，MOSS 003 也并非开源了全部模型，目前主要开放的是基座预训练模型，最终模型即将在近期开源：

此前，MOSS 已经经历了两版迭代，一版是公开邀请内测的 MOSS 002 版本，另一版是内部测试版本 OpenChat 001。

三月份大伙儿见证的“国内首个开放测试的 ChatGPT”，正是 MOSS 002 版本。

最新这个版本展现的功能效果如何？

MOSS 团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。

这是多轮对话的展示效果，具备资料追根溯源的能力：

这是做数学题的示例，包括鸡兔同笼问题：

也包括生成图片功能：

还有近期网友热议的 AI 道德性问题：

当然，这波里面也不乏“砸场子”的网友。

例如官方 GitHub 问答中，有网友很想了解它的中文能力和 chatglm6b 相比谁更好，下面有网友调侃：

你是来砸场子的么？

这也是因为此前团队在 MOSS 002 公开测试时曾经表示过，MOSS 的中文能力不算太好，这也与训练数据有关。

除此之外，团队这次还开源了一部分训练数据。

至于完整数据，复旦 MOSS 团队表示“近期会全部开源”。

国内最先发布的 ChatGPT 产品

MOSS 取自于《流浪地球》里面那个拥有自我意识的 AI。

它由复旦自然语言处理实验室邱锡鹏团队研发，2 月 20 日正式发布。

当时国内一众大厂还在陆续高调官宣要造 ChatGPT，谁都没想到它就这么一声不吭地杀了出来。

所以尽管 MOSS 的参数量比 ChatGPT 小了一个量级，大家还是蜂拥而上，把服务器都给挤爆了。

而发布没过一周，复旦大学教授邱锡鹏就在演讲中提出，如果优化顺利，计划在三月底开源 MOSS。

因为在他看来：

人们之所以很容易有“卡脖子”问题，是因为缺乏一个好的行业生态。
就拿 ChatGPT 来说，OpenAI 公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。在发展过程中，大型语言模型训练与在线推理成本过高也是一个重大问题。

因此，他们一开始就考虑要把 MOSS 开源而不是商业化。