谷歌最强开源大模型亮相！Gemini 技术下放，笔记本就能跑，可商用

明敏 发自 凹非寺量子位 | 公众号 QbitAI

谷歌大模型，开源了！

一夜之间，Gemma 系列正式上线，全面对外开放。

它采用 Gemini 同款技术架构，主打开源和轻量级，免费可用、模型权重开源、允许商用，同时笔记本可跑。

共有 2B 和 7B 两个版本，性能全面超越开源标杆 Llama 2。

每种规模都有预训练和指令微调版本，可在 Kaggle、Colab Notebook、Google Cloud 中访问。

而且支持 JAX、PyTorch 和 TensorFlow 通过原生 Keras 3.0 进行推理和监督式微调（SFT），适应多种开发需求和环境。得益于对 JAX 的支持，它还能进行快速推理。

目前模型也同步上线 Hugging Chat，可在线体验试玩。

发布几个小时里，Gemma 火速成为圈内最热话题，成为议论焦点。

Keras 作者 François Chollet 高呼：最强开源大模型，刚刚易主。

大神卡帕西第一时间赶来解析技术报告。

AI 圈内大佬更是表示，谷歌做开源是明智之举啊。

网友们都很兴奋，已经有人开始问考虑推出更多语言版本吗？

还有人提出 2B 的规模，是不是意味着也能支持安卓/iOS 本地推理？

多性能超越同规模开源模型

具体来看 Gemma 的技术报告。

在 18 个任务中，Gemma 在 11 个任务上表现优于同规模优质开源模型。

Gemma 包含两种规格。

7B 版本参数量约 78 亿，面向 GPU 和 TPU 上的高效部署和开发，2B 版本参数量约 25 亿，用于 CPU 和端侧应用程序。

它基于 Transformer 解码器架构，关键模型参数如下。

相比于基础 Transformer，Gemma 进行了一些升级。

7B 版本使用多头注意力机制，2B 版本使用多查询注意力机制。

在每一层中使用旋转位置嵌入代替绝对位置嵌入；使用 GeGLU 激活函数替代标准 ReLU 非线性。

同时对每一个子层的输入和输出都进行归一化。

Gemma 2B/7B 分别使用了 2T 和 6T token 进行训练，主要来自网络文档、数学和代码，不过这些数据不是多模态的。

为了兼容，谷歌使用了 Gemini 的 SentencePiece tokenizer 子集，它可以分割数字，不删除额外的空格，并对未知 token 进行字节级编码。

大神卡帕西关注了 Tokenizer 部分，他表示，Gemma 的 tokenizer 和 Llama 2 的不同，但和 GPT 一致。

François Chollet 认为 Gemma 最大的特点是谷歌拥有 SOTA 级测试集过滤机制，这意味着基准数据能相当准确地反映了模型在实际环境中的表现。

谷歌也报告了 Gemma 在 MMLU 等基准上的表现。

最后，谷歌还强调了 Gemma 的安全隐私性能。

实验数据显示 Gemma 不会存储敏感数据，但可能会记住一些潜在隐私数据。不过报告表示这个数据可能因为工具原因有所误报。

网友已开始实测

开放以后不少网友已经上手实测 Gemma。

有人反馈写代码的速度非常快。

关于技术细节的讨论也很多。

不少人关注到 Gemma 做到了“以小博大”，2B 版本性能超越 Mistral2 7B。

也有人觉得 Gemma 使用的数据量有点大……

但对于谷歌开放模型的态度，大家是一律拍手称赞。

通过几十个开源项目，每个人都有机会打败巨头。

现在压力再次给到“CloseAI”……

也有人猜测，按照两大巨头互掐的规律，OpenAI 新大招可能就在路上了。