跳到正文
原文
Interconnects · Nathan Lambert· Nathan Lambert·· 2026-07-20精选AI 评分83

Kimi K3:开源权重的升级

Kimi K3: The open-weights escalation

AI 导读

Moonshot AI 于 7 月 16 日发布旗舰模型 Kimi K3,这是一个 2.8T 参数的 MoE 模型,权重将于 7 月 27 日开放。

推荐理由

从模型排名、训练效率到政策动向,梳理 Kimi K3 对开源与闭源平衡的冲击。

正文 · AI 翻译

7月16日周四,Moonshot AI 发布了他们最新的旗舰模型 Kimi K3。K3 是一个 2.8T 参数的 MoE 模型,其权重将于 7 月 27 日发布。本文的许多内容是对生态现状的反思,前提是 Moonshot 信守权重发布日期的承诺。这是对均衡状态的一种更极端的看法,而如果实际情况是中国拥有同样强大但闭源的模型(即 K3 永不发布),许多结论最终会落在中间地带。

关键事实是,无论是开源到闭源,还是美国到中国的模型性能差距,都已从备受争议的 6-9 个月缩短到了更短的时间,比如 3-5 个月。

从发布材料来看,K3 显然是一个真正的前沿模型。这将是自 DeepSeek R1 以来开源模型最接近前沿的一次。DeepSeek R1 是另一回事。那是一家中国实验室极快地转向推理模型,并比许多美国公司更快地发布了一款。Kimi K3 则是一家中国实验室在已知领域——数据、算法、架构、工具、环境等——进行规模化执行的例子。

Kimi K3 在 Vals AI 指数上总排名第 2,在 Artificial Analysis 的智能指数上总排名第 3(仅被 Claude Fable 和 GPT-5.6 Sol Max 击败,同时 更便宜),在 Frontend Code Arena 中总排名第 1,以及 更多令人印象深刻的结果。Moonshot AI 正以远远更少的资源与 Anthropic 和 OpenAI 正面交锋。

这显然是有史以来发布的最强开源模型。看这个模型就应该清楚,如果来自美国闭源前沿模型的对抗性蒸馏有所贡献,那至多也只是相对较小的程度。那些关注了 蒸馏恐慌 并得出错误结论——认为中国 AI 实验室只是因为知识产权盗窃才能产出好模型——的 AI 观察者们该醒醒了:中国公司正以与美国领先公司相同的方式极其擅长构建模型。Moonshot AI 正在解决 OpenAI 或 Anthropic 的人们也在解决的许多相同问题。我相信还会有更多关于蒸馏的讨论,以及 压力,但现在证据已经表明,中国公司能做的 远不止快速跟随。

在 我的中国之行 中见到 Kimi 核心团队的一些成员时,我清楚地感受到他们拥有令人难以置信的文化,有人会说是气场,以及在 GPU 受限环境的约束下表达它的自由。在构建模型很大程度上是一场规模化游戏的情况下,构建一个好模型的许多能力仍然归结于个人的执行力、动力和表达。拜访过他们之后,这个结果就没那么令人惊讶了。我拜访过许多 AI 公司,很少有公司能让你立刻感受到这样的文化。

与此同时,中国的 AI 应用趋势起步晚于美国。因此,尽管所有中国实验室的算力都远少于美国的同行,但其中更大一部分可以用于训练。当我开玩笑说起 OpenAI 普通研究员可能拥有多少算力——比如几千台 H100 等效机器——Kimi 的研究人员都惊呆了。组织架构图和构建 Kimi 模型的方式必然反映了这一点,但如果没有大量非公开信息,很难厘清这究竟是什么样子。

峰值模型性能的现状大致如下:

  1. Anthropic – Claude Fable 5

  2. OpenAI – GPT 5.6 Sol

  3. Moonshot AI – Kimi K3(开放权重*)

  4. SpaceXAI – Grok 4.5

  5. Zhipu (Z.ai) – GLM 5.2(开放权重)

  6. Meta – Muse Spark 1.1

  7. DeepMind – Gemini Flash 3.5

  8. Alibaba – Qwen 3.7 Max(撰写本文时已宣布 3.8,同样将开放权重)

看到 DeepMind 以及其他一些美国巨头排名如此之低,令人惊讶。在很多方面,X AI 团队值得更多赞誉。Artificial Analysis 的直观总结如下:

这次发布以及其他近期事件,使开放与闭源模型之间力量平衡的最可能走向发生了重大变化。我将逐一剖析。

在很多方面,这感觉像是一个新时代的开端。一个竞争激烈得多的时代,但同时也是我们在全球推出极其强大的技术时,对协调的需求高得多的时代。

分享

1. 中国重申对开源 AI 的承诺——展现了对近期风险的不同解读

许多人最近才开始关注中国的 AI 领域,因此他们可能得出这样的结论:公开释放模型是他们的核心战略。事实上,我认为大多数实验室的核心战略都更接近 Anthropic 或 OpenAI——尽可能打造最好的智能。在关注并接触中国实验室多年之后,我认为他们最初转向公开释放模型的最佳解释是务实。他们需要公开释放模型来获得采用、关注和反馈(尤其是在高价值的湾区市场)。

长期以来,中国在开源 AI 的角色以及什么可能是“国家层面战略”方面政策非常有限。据我所知,此前没有高级领导人公开评论过开源 AI。本周这一情况也发生了变化,习近平在世界人工智能大会(WAIC)上发表主旨演讲,非常直接地将中国 AI 生态的未来承诺给开源与全球扩散。对现状的这一承诺,与迄今最强开放权重模型的发布发生在同一周,在现代 AI 的早期历史中是一个明确的标志。

这一切发生的背景是,关于中国 AI 产业未来可能的发展道路已有诸多讨论——它们会保持开放吗?它们能在规模扩展上跟上美国实验室吗?中国是否存在一个不断增长的营收市场?围绕这些问题,人们的关注点集中在中国对风险的容忍度、这些公司的变现能力,以及任何与之密切相关的、促使公司停止公开发布其最佳模型的原因。

将习近平的承诺与一个非常强大的模型在时间上联系起来,中国实际上已就其在发布开放权重模型方面的风险容忍度作出了隐含表态。就目前而言,这可以被解读为外界对中国体制内对强网络安全能力(或生物危害)等议题所感知风险的一种理解。

最简单的解释是,中国政府肯定在密切关注这些模型带来的潜在风险——其技术审查范围很可能比美国政府的“氛围式监管”更广——并且一旦评估出风险就会采取行动。同样简单的解释是,他们认为当前的前沿模型并不构成有意义的风险。

与此同时,中国的经济决策者认为推动 AI 的应用是件好事,这样他们就能在后期从该产业中获利——在扩大分发规模之后(正如中国近代在汽车、太阳能、先进制造等诸多领域所做的那样)。

在美国 AI 媒体经历了数月围绕 Claude Mythos 模型的炒作与恐慌渲染之后,这些现象可能显得有些令人震惊。这种意外应当成为一个极好的基准——世界对于我们在美国最常听到的那些关于 AI 的叙事,并没有达成一致共识。

2. 开放模型是前沿实验室在经济上的阿喀琉斯之踵

许多引导 AI 讨论的叙事者都有明确的动机去压低最好的开放 AI 模型被感知到的能力。Dean Ball——他个人支持开放模型,但如今在 OpenAI 工作——发表了一篇被广泛评论的文章,其中包含一些关于 Kimi 的思考,他在文中就开放模型说了以下这番话。理解这一说法很重要,因为它点明了开放模型在 AI 建设经济层面的角色。Dean 说:1

  1. 开放权重模型本质上是减速主义的,而我不断惊讶地看到所谓“加速主义者”对开放权重模型如此兴奋。

解释为什么开放权重模型是一种减速主义形式,对于理解即将到来的世界秩序很重要。他说得对。

对前沿实验室而言,开放模型在经济上是减速主义的,这会减缓 AI 的净投资和资本支出推进。原因在于,强大的开放权重 AI 模型会大幅压缩闭源实验室的利润潜力。这带来两个影响。第一,AI 实验室可用于再投资于未来模型的利润变少。第二,市场认为这些公司的终值更低,因此会削弱它们未来的融资能力。这两者叠加会推迟最具变革性 AI 模型的问世时间,但我并不认为这些影响强大到足以阻止 OpenAI 和 Anthropic 成为全球市值最高的几家公司之一。

在我看来,这些对社会总体是好事。开放权重模型是加速主义的,因为它推动 AI 在整个经济中的扩散,让达到某一性能水平的智能的入门价格更低。开放模型也鼓励定制化。问题在于,这种扩散本质上比前沿 AI 实验室的产品要慢得多,后者销售的是开发者直接使用的工具。开放模型的潜力在于几乎每家企业都能用它们打造特定领域的智能体。这种经济上的扩散需要极其漫长的时间!我将其描述为开放权重模型起步要慢得多,但潜在指数更大。问题在于,如果闭源模型在原始能力上领先太多,这种定制化的能力就可能变得无关紧要。

在我看来,AI 实验室权力的扩散增加与集中度下降,对 AI 转型非常有利。它给了我们更多时间去解决新能力带来的难题,也让更多利益相关者能影响这一进程——任何一家公司都很可能在安全控制世界上最重要的技术方面出现问题。

当然,在这个世界裏,最好的模型仍然由美国公司制造对我而言很重要,这会让美国控制这项技术的轨迹及其价值观。我也预计情况会如此,因为美国拥有更大的资本市场,愿意投资 AI(以及不断增长的利润份额),但这并非理所当然。

Interconnects AI 是一份由读者支持的出版物。考虑成为订阅者。

3. 中国的效率优势

Kimi 的发布博客包含一些技术细节,印证了那些带来我们所感受到的持续模型改进的种种提升。选取一个:

Kimi K3 构建于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 之上,这两项架构更新旨在改善信息在序列长度和模型深度上的流动方式。我们还扩大了混合专家 (MoE) 的稀疏度,配合 Stable LatentMoE 框架,有效激活了 896 个专家中的 16 个。结合精炼的训练和数据配方,这些结构性变化带来了相比 Kimi K2 约 2.5 倍的整体扩展效率提升,使模型能更有效地将算力转化为智能。

训练效率真的会累积起来。它们将为模型带来持续、惊人的进步。

顺便说一句,追踪这一特定创新在生态系统中的传播路径是一个有趣的例子。Kimi Delta Attention(KDA)是在 Kimi Linear 论文中提出的,它类似于用于 Olmo Hybrid 的 Gated DeltaNet(这是我在 Ai2 时参与的最后一个 Olmo 模型)。Qwen 的最新模型转向了相关架构,最近的 Nemotron 模型也是混合架构(但仍更接近 Mamba 而非 Gated DeltaNet)。看到这类由学术界大力推动的新架构理念如此迅速地转化为前沿规模模型,真是令人惊叹。Gated Delta Networks于 2024 年底提出,建立在 Mamba 的理念之上。到 2026 年中,它们已进入前沿模型。

我选择聚焦这个例子,部分原因是 Kimi 团队为模型之间的创新给出了一个很酷的数字,但主要是为了给关于中国资源效率的更广泛讨论留出空间。

越来越明显的是,中国实验室的资本效率要高得多。在一个缩放定律规定智能与有效资本(用于购买算力、数据和人才)成正比的世界里,这可能是你的 AI 产业所能拥有的最大优势。造成这种情况的可能解释有很多,比如中国研究人员薪资更低,但在 LLM 研究难题上更高效,但我们可能永远不会得到如此具体的原因。

自从写下我关于中国的笔记以来,我听到更多关于中国正在兴起的数据产业的消息(远远落后于 Anthropic 用于数据的数十亿美元预算),以及中国实验室能够获得可观的训练算力(通过规避出口管制)。中国公司没有同样的推理需求(直到最近,因为 Moonshot AI 不得不暂停新订阅以获取其 K3 模型——而 API 仍然可用),因此它们更多的算力可以用于训练。这些领域在很大程度上影响着这些实验室能力的真实情况,但我们对它们的测量非常有限。

实际情况是,这些中国实验室筹集的资金比美国 AI 生态系统中任何一部分都要少几个数量级。最直接的比较对象是 OpenAI 和 Anthropic,他们的公开模型略胜一筹。其他公司,如 Google 和 Meta,拥有商业史上最大的现金流,却在模型构建上落后。至于美国的新实验室,竞争格局更加激烈——Thinking Machines 最近发布了他们的第一个模型Inkling,它很强,但不在 Kimi K3 的同一级别。

这些资源更丰富的美国公司仍有可能追赶上来,但你需要高度重视我们所拥有的模型质量的公开测评数据,而不是寄希望于——这往往反映了一种偏见。如果中国的实验室确实拥有潜在优势,他们可以继续利用这一点,构建出比所有竞争对手更强大的模型!许多结果都是可能的,K3 应该会提高大多数人对于中国能在不久的将来凭借更高效的训练努力直接引领 AI 能力的概率——即使这并非你最可能预测的结果。

资本效率的一大贡献因素很可能在于方法路径,美国实验室投入大量精力以戏剧性的大步伐推动前沿,而中国实验室更专注于追赶——这种追赶成本更低。正如蒸馏中学生模型通常能超越教师模型(不限于中国实验室的对抗性蒸馏),一种“试图追赶”而非“发明下一个范式”的方法可能会带来更强的模型。

4. 不断壮大的前沿开放模型生态

Kimi K3 发布后的那个周末,在撰写本文并广泛讨论这些事件时,阿里巴巴宣布即将推出一个 2.4 万亿参数的 Qwen 3.8 模型,并开放权重。历史上,阿里巴巴一直将其最大的模型通过云业务以仅 API 的形式提供,因此这是又一次重大的风向转变,为开放模型经济的下一篇章打开了大门。即使该模型在基准测试上落后于 Kimi K3,这也表明中国公司可能不仅是在维持其开放模型策略的现状,而是在进一步加码。

如果这个 Qwen 3.8 模型很快发布,即在下一个 Gemini 模型之前,它可能会将谷歌推到拥有最聪明模型的实验室排行榜的第 8 位——而中国在此榜单上一直在攀升。还有其他传闻称更多强大的中国模型即将问世,DeepSeek V4 预计将从其“预览”版本中毕业。

留下评论

5. 前沿开放权重政策漫长故事的开端

我认为,如果 Claude Mythos 今天作为开放权重模型发布,负面结果会相对较小。这是一个多少有些难以站住脚的观点,因为我们的公开网络安全评估非常有限,而且生态系统复杂(也因为我相信 Anthropic 的许多人)。我仍然坚持这一观点。风险被过度夸大了。

问题在于,对于最强大的 AI 模型来说,情况不会总是如此。更强大的模型即将到来——随之而来的是更大的风险——因此,对于最好的模型来说,在类似开放权重模型出现之前几个月,以受控、封闭的方式提供访问权限,是一个极其安全的平衡状态。

用户可高度控制的开放权重模型总会不断涌现——你无法有效禁止数字产品,尤其是来自恶意行为者的产品——因为 AI 训练已被证明在全球范围内的可获取性比许多分析师预期的持续时间更长。

尽管如此,在我写下这些文字时,政府仍在考虑更多旨在限制开放权重模型的措施,这发生在美国。最新消息来自Axios:

幕后消息:一位接近政府的消息人士告诉 Axios,商务部去年曾考虑将多个中国 AI 实验室列入其“实体清单”,这实际上会在没有许可证的情况下切断美国的访问。

  • 该消息人士称,国家安全局和白宫国家网络主任办公室去年也曾考虑就中国 AI 实验室的威胁发布咨询意见,实际上是在劝阻美国公司使用其技术。

  • 该消息人士补充说,白宫曾考虑实施一项行政命令,规定美国公司只有在能够保证安全并在遭到破坏时承担责任的情况下,才能托管中国模型。

  • 另一位接近政府的消息人士称,商务部去年夏天还在政府内部传阅了规则草案,利用其确保国内供应链安全的权力来针对中国的开源模型。

这会让美国处于一种非常不对称的状态:美国最好的模型在网络安全任务上受到护栏限制,但全球行为者却可以使用出色的中国开放权重模型来探测我们的防御。这只是众多例子之一,说明禁止开放权重模型不仅损害 AI 的自由市场,还会在短期内使整个生态系统更不安全。还有其他非常糟糕的后果,例如减缓 AI 应用和 AI 研究的扩散,正如我上面所讨论的。

这些均衡状态极难维持,尤其是在 AI 工具加速模型进步的情况下,但维持开放与封闭之间的这种现状很重要。拥有一个在能力上真正独处前沿的模型——比如 Mythos 刚发布时那样——同时还开放权重,会带来严重风险,因为我们正走向未知的能力领域。模型将以非常快的速度进步,衡量它们的总体能力也越来越困难。

于是我们陷入了一个试图在开放模型上把握微妙平衡的世界。不希望如此强大的东西瞬间扩散到全球是合理的,但与此同时,模型的制造者有动机夸大其能力,而它们的竞争对手有动机夸大其风险。这一切都归结为仔细的衡量,以及主动让社会对各种风险向量做好准备。

这场关于政策辩论、模型发布和喧闹反应的失控列车只会从今天起继续下去。我们一直在一列快速进步的列车上,AI 应如何发展的所有关键想法都在被检验,自去年 12 月 Claude Opus 4.5 发布以来,它把我们带上了智能体之路。在这里做出正确决策的关键是评估能力,独立于那些拥有最大经济利益的公司。那么,在进入AI 治理的 AGI 时代之际,需要的众多行动之一,就是采取类似 Operation Warp Speed 的方式,建立国家能力(以及其他独立行为者),以便准确评估模型并研究新兴风险。

结论:警钟

开放权重模型通过加速能力的扩散,使 AI 的善与潜在恶都大幅升级。目前,前沿语言模型的负面影响在很大程度上仍是假设性的,但这种情况不会永远持续。

让开放权重模型略微落后于闭源前沿,是我们缓解风险的自然缓冲。关键在于,我们必须共同行动,在潜在危害出现时加以缓解,而无论开放权重模型落后 3 个月、6 个月还是 9 个月,那仍然是非常短的时间线。如果我们对开放权重模型实施严厉监管,我怀疑世界上许多人会被麻痹,以为我们不再需要行动。我们所做的不过是稍微推迟了不可避免之事——开放模型最终将继续跨越所有关键能力门槛,无论合法与否。

理解并从这种开放与闭源的共舞中获益,必须是 AI 社区在未来几年跨越所有权力和影响力部门的集体行动。

Kimi K3 是一个分水岭时刻,因为前沿开放权重模型如今已成现实。许多关于开放权重模型风险究竟落在何处的假设将得到检验——我怀疑它会比许多人预期的更窄,而 AI 的许多风险仍将通过闭源且“更安全”的 API 扩散。对这些风险的评估将随着 AI 加速融入我们的经济而演变。我们无法只取其一面,而我们将继续两者兼得。

由此,2025 年成为开放模型开始被更认真对待的一年——尤其是当 中国以如此明显的领先优势跃居前列 ——人们意识到这不会是一个单极世界,不会只由美国的闭源 AI 实验室决定轨迹。2026 年则是此前讨论的、由真正前沿的开放权重模型带来的潜在风险和加速成为现实的一年。

1

很大一部分回应针对的是第四条,该条将开放模型的必然结果比作 AI 共产主义,我认为这没有说到点子上。具体来说,未经解释地使用“共产主义”一词引发了大量反弹。

来源:Interconnects · Nathan Lambert · interconnects.ai