Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

2026年4月23日研究

Arthur Douillard 和 DiLoCo 团队

我们的全新分布式架构有助于跨远距离数据中心训练 LLM——带宽更低，硬件韧性更强。

传统上，训练前沿 AI 模型依赖于一个大型紧耦合系统，其中相同的芯片必须保持近乎完美的同步。这种方法对当今最先进的模型非常有效，但随着我们展望未来几代的规模，在数千块芯片之间维持这种级别的同步成为了一项重大的后勤挑战。

今天，在一篇新论文中，我们很高兴分享解决这一问题的新方法，名为 Decoupled DiLoCo（分布式低通信）。通过将大型训练任务划分到解耦的计算“岛屿”上，并让异步数据在它们之间流动，这一架构隔离了局部中断，使系统的其他部分能够继续高效学习。

其结果是，一种更具韧性、更灵活的方式，可以在全球分布的数据中心之间训练先进模型。而至关重要的是，Decoupled DiLoCo 不受通信延迟的影响，正是这种延迟使得此前诸如数据并行之类的分布式方法在全球规模上不切实际。

随着前沿模型在规模和复杂度上持续增长，我们正在探索多种方法，以便在更多计算资源、更多地点和多样化硬件上训练模型。

图 1：将训练任务解耦为独立的计算“岛屿”（学习器单元），可以在同样程度的硬件故障下维持训练基本不中断，因为这些故障的影响被隔离了。

大规模开发更具容错能力的异步训练

Decoupled DiLoCo 建立在两项早期进展之上：Pathways，它引入了基于异步数据流的分布式 AI 系统；以及 DiLoCo，它大幅降低了分布式数据中心之间所需的带宽，使跨远距离位置训练大型语言模型变得切实可行。

Decoupled DiLoCo 将这些理念结合在一起，以更灵活的方式大规模训练 AI 模型。它构建在 Pathways 之上，支持跨独立计算岛屿（称为学习器单元）的异步训练，使得某一区域的芯片故障不会中断其他区域的进展。

这一基础设施还具备自愈能力。在测试中，我们使用一种名为“混沌工程”的方法，在训练运行期间人为引入硬件故障。Decoupled DiLoCo 在失去整个学习器单元后仍继续训练过程，并在它们重新上线后无缝地将其重新整合。

用 Gemma 4 模型测试 Decoupled DiLoCo 表明，当硬件发生故障时，该系统比更传统的训练方法能保持更高的学习集群可用性——同时最终交付相同的基准机器学习（ML）性能水平。

图2：左：Decoupled DiLoCo 方法所需的带宽比传统训练方法低几个数量级，因此非常高效。中：随着硬件故障率上升，Decoupled DiLoCo 仍能持续提供高水平的“有效产出”（即有用的训练量），而其他方法则急剧下降。（前两张图基于模拟训练运行）。右：在实际实验中，使用 Decoupled DiLoCo 训练的 Gemma 4 模型所达到的基准 ML 性能，与传统训练方法所达到的性能相当。

Decoupled DiLoCo 不仅对故障更具韧性，而且对于执行生产级、完全分布式预训练也很实用。我们成功地在四个不同的美国区域训练了一个 120 亿参数的模型，使用了 2-5 Gbps 的广域网络（这一水平通过数据中心设施之间现有的互联网连接即可相对实现，而无需在设施之间新建定制网络基础设施）。值得注意的是，该系统实现这一训练结果的速度比传统同步方法快 20 倍以上。这是因为我们的系统将所需的通信纳入更长的计算周期中，避免了系统中一部分必须等待另一部分的“阻塞”瓶颈。

推动 AI 训练基础设施的演进

在 Google，我们对 AI 训练采取全栈方法，涵盖硬件、软件基础设施和研究。越来越多的收益来自于重新思考这些层次如何协同配合。

Decoupled DiLoCo 就是一个例子。通过使训练任务能够在互联网级带宽下运行，它可以利用任何位置闲置的计算资源，将搁置资源转化为可用容量。

除了效率和韧性之外，这种训练范式还解锁了在单次训练运行中混合不同代际硬件（例如 TPU v6e 和 TPU v5p）的能力。这种方法不仅延长了现有硬件的使用寿命，还增加了可用于模型训练的总计算量。在我们的实验中，不同代际、以不同速度运行的芯片仍能匹配单一芯片类型训练运行的 ML 性能，确保即使是较旧的硬件也能有意义地加速 AI 训练。

更重要的是，由于新一代硬件不会同时到达所有地方，能够跨代际训练可以缓解反复出现的物流和容量瓶颈。

在今天推动 AI 基础设施前沿发展的同时，我们正在继续探索释放下一代 AI 所需的韧性系统方法。

致谢

这项工作由 Google DeepMind 和 Google Research 的团队成员共同完成。

Decoupled DiLoCo 背后的负责人和核心贡献者是 Arthur Douillard、Keith Rush、Yani Donchev、Zachary Charles、Ayush Dubey、Blake Woodworth、Ionel Gog、Josef Dean、Nova Fallen、Zachary Garrett。运营支持由 Nate Keating 和 Jenny Bishop 完成。

我们也感谢 Jeff Dean、Marc’Aurelio Ranzato、Raia Hadsell、Arthur Szlam、Edouard Yvinec、Henry Prior、Paul Barham、Michael Isard、Daniel Ramage、Brendan McMahan、Chase Hensel 和 Zoltan Egyed 提供的额外支持和建议。