万亿参数预训练完成,Mostaque 先放出口风
前 Stability AI 创始人 Emad Mostaque 在 5 月 26 日发推称 xAI 的 Grok V9 已结束预训练,参数规模超过一万亿,下一步进入 RLHF 和工具使用微调。这条消息没有 xAI 官方坐实,但 Mostaque 过去几次抢先披露的 Grok 节点最终都被官博跟进——他和 xAI 的关系网够近,时间点也对得上 Elon Musk 在 4 月底说的”暑假之前能用上”。

Cursor 协作轨迹被拉进训练集
真正让人留意的不是参数量,是训练数据的来源。Mostaque 描述里写得很直接:xAI 把 Cursor 编辑器用户在公开仓库里的协作轨迹大量塞进了 pretraining mix——不是 GitHub 上”提交完成”的静态代码,而是程序员一边敲一边改的中间过程,包括 AI 生成的版本被人推翻、再让 AI 改一次的整段往返。Grok 4 早先公开过训练集里代码占比约 30%,V9 这边 Mostaque 用的形容词是”大幅提升”,但具体比例没说。
把编辑器交互轨迹端到端拿来训练,授权这一关肯定要被人盯——Cursor 自己的隐私条款里区分”匿名遥测”和”可识别代码内容”,公开仓库部分通常不在隐私墙里,但用户协作过程本身能不能被第三方拿去训权重,这事 Cursor 跟 xAI 之间的口径目前都没有公开。
跑分没出来之前,定价才是 Grok V9 真正的赌注
万亿参数加编辑器轨迹听着诱人,但截稿前没有任何 SWE-bench、Aider Polyglot、HumanEval 的官方分数公布。Anthropic 和 OpenAI 这一档的卖法已经定型——按 token 计费、缓存命中后吃企业的高频流量,Sonnet 4.6 的输出价是每百万 token 15 美元。Grok V9 想抢 coding 场景,跑分领先一两个百分点拉不动用户,价格才是真正的杠杆。xAI 又没有自家的 TPU 能压推理成本,万亿参数推一次本身贵,要么靠 Memphis 的 Colossus 二期补贴硬扛、要么定价高于 Sonnet——后者会直接把它推到企业心智的次选位。Mostaque 没提价格,但官方 release 之后一周的定价表才是这次节点的真正看点。
参考:Mostaque 推文