科技：实力硬刚OpenAI，马斯克将Grok-1开源

i> 文章来自微信公众号“科文路”，欢迎关注、互动。转发须注明出处。科技：实力硬刚OpenAI，马斯克将Grok-1开源

刚刚，马斯克旗下 AI 部门 xAI 正式将其大语言模型 Grok-1 开源，这意味着模型的权重和网络架构都被公开使用。

顺带继续嘲讽了一把 OpenAI，

Musk

Grok-1

Grok-1 是由 xAI 从头开始训练的 314B （3140亿）参数的混合专家模型（MoE，mix-of-experts）。

发布的是 Grok-1 预训练阶段、在 2023 年 10 月的基模型 checkpoint。这意味着该模型没有针对任何特定的应用程序(例如对话)进行微调（fine-tuning）。

这一把算是真开源，因为权重和架构采用的是Apache 2.0这种宽松许可。

具体可以去 GitHub:xai-org/grok-1 上观摩，不过一般人应该是没这个硬件玩起来了。因为 314B 就意味着至少得有 600 多个 GB 的运存（最次也的是内存）才能跑起来。请按照github.com/xai-org/grok上的说明进行操作。

一些细节

根据 xAI 官网披露，开源的模型有以下几个特点，

• 在大量文本数据上训练的基础模型，没有针对任何特定任务进行微调。
• 314B 参数 MoE 模型，对于每个正在处理的令牌（token），实际调用的参数是总量的 25%
• 2023 年 10 月，xAI 使用 JAX 和 Rust 语言从头开始训练

~~

都看到这儿了，不如关注每日推送的“科文路”、互动起来~~

至少，点个赞再走吧~