一文了解 AI 长文本工具：马斯克打脸 OpenAI，全球最大巨无霸模型 Grok-1 开源！

近日，xAI 的 Grok 按时开源了！这一动作不仅让马斯克成功地反击了 OpenAI，还展现了其在 AI 领域的强大实力。Grok-1 拥有 3140 亿参数和 8 个 MoE，其权重和架构已完全开放，并已在 GitHub 上获得了超过 6k 颗星。

Grok-1 的特点

Grok-1 是迄今为止参数最多的开源 LLM，其参数量是 Llama 2 的 4 倍。虽然 xAI 对 Grok-1 的详细信息尚未透露，但官网公布的一些信息包括：

• 基础模型在大量文本数据上训练，未进行任何特定任务的微调。

• 拥有 314B 参数的 MoE，其中 25%的权重处于激活状态。

• 在 2023 年 10 月，xAI 使用 JAX 和 Rust 构建了自定义训练堆栈。

Grok 一经在 GitHub 上发布，便迅速获得了 6k 颗星，同时被 Fork 了 586 次。

马斯克的嘲讽和反应

马斯克对 OpenAI 进行了一番嘲讽，称其为“CloseAI”，并在 Grok 开源后再次讽刺道：“告诉我们更多关于 OpenAI 的「open」部分…”这一行为再次凸显了他对开源的支持态度。

Grok 的架构和细节

通过对 model.py 的分析，可以了解更多关于 Grok 的架构信息。Grok-1 拥有 8 个混合专家（其中 2 个是活跃专家），总共有 860B 的活跃参数。它使用旋转嵌入代替固定位置嵌入，tokenizer 词汇量为 131,072，嵌入大小为 6144 等。

Grok 的影响和展望

Grok 的开源引发了 AI 社区的热烈讨论，其前向反馈层中使用的 GeGLU 和归一化方法等技术受到了广泛关注。即便是 OpenAI 的员工也表达了对 Grok 的浓厚兴趣。

对开源的反思

一些专家对于 AI 模型是否应该开源存在不同看法。虽然一些人担心开源会导致技术滥用，但另一些人认为开源的利大于弊。马斯克一直是开源技术的支持者，这次开源 Grok 也是他的一次尝试。

结语

Grok-1 的开源不仅是对 OpenAI 的一次挑战，也为 xAI 在 AI 领域的地位和影响力增添了新的底气。未来，Grok 的开源版本可能会鼓励更多的开发者和客户采用该模型，同时也将加速 xAI 的发展和创新。