Hugging Face 发起 Open-R1 项目，复现 DeepSeek-R1 数据与训练流程

什么是 DeepSeek-R1？

如果你曾经为一个棘手的数学问题苦恼过，你就会知道多思考一会儿并仔细推敲是多么有用。OpenAI 的 o1 模型表明，当 LLM 被训练去做同样的事情——在推理时使用更多计算——它们在解决数学、编程和逻辑等推理任务方面会显著提升。

然而，OpenAI 推理模型背后的配方一直是一个严守的秘密。也就是说，直到上周，DeepSeek 发布了他们的 DeepSeek-R1 模型，并迅速引爆了互联网（以及股市！）。

除了表现与 o1 相当或更好之外，DeepSeek-R1 的发布还附带了一份详细的技术报告，概述了其训练配方的关键步骤。这个配方包含了几项创新，其中最引人注目的是应用纯强化学习来教一个基础语言模型如何推理，而没有任何人类监督。如下图所示，如果你能获得一个强大的基础模型和高质量的数据组合，现在制作一个强大的推理模型非常简单：

DeepSeek-R1 training pipeline

然而，DeepSeek-R1 的发布留下了几个问题：

数据收集：推理专用数据集是如何策划的？
模型训练：DeepSeek 没有发布训练代码，因此不知道哪些超参数效果最好，以及它们在不同模型系列和规模之间有何不同。
扩展规律： 在训练推理模型时，计算和数据的权衡是什么？

这些问题促使我们启动了 Open-R1 项目，这是一项旨在系统性地重建 DeepSeek-R1 的数据和训练流程、验证其主张，并推动开放推理模型边界的倡议。通过构建 Open-R1，我们旨在提供关于强化学习如何增强推理的透明度，与开源社区分享可复现的见解，并为未来模型利用这些技术奠定基础。

在这篇博客文章中，我们来看看 DeepSeek-R1 背后的关键要素、我们计划复现哪些部分，以及如何为 Open-R1 项目做出贡献。

让我们开始吧 🚀！

他们是怎么做到的？

DeepSeek-R1 是一个建立在 DeepSeek-V3 基础之上的推理模型。像任何优秀的推理模型一样，它从一个强大的基础模型开始，而 DeepSeek-V3 正是如此。这个 671B 的专家混合（MoE）模型与 Sonnet 3.5 和 GPT-4o 等重量级模型表现相当。尤其令人印象深刻的是它的训练成本效益——仅需 550 万美元——这得益于多 Token 预测（MTP）、多头潜在注意力（MLA）等架构变化以及大量（说真的，大量）硬件优化。

DeepSeek 还推出了两个模型：DeepSeek-R1-Zero 和 DeepSeek-R1，每个都有不同的训练方法。DeepSeek-R1-Zero 完全跳过了监督微调，完全依赖强化学习（RL），使用群体相对策略优化（GRPO）使过程更高效。一个简单的奖励系统被用来引导模型，根据其答案的准确性和结构提供反馈。这种方法帮助模型发展了有用的推理技能，例如将问题分解为步骤并验证自己的输出。然而，它的回答往往缺乏清晰度，难以阅读。

这正是 DeepSeek-R1 发挥作用的地方。它始于一个“冷启动”阶段，在少量精心设计的示例上进行微调，以提高清晰度和可读性。此后，它经历了更多的强化学习和精炼步骤，包括通过人类偏好和可验证奖励来拒绝低质量输出，从而打造出一个不仅推理能力强，还能产生精炼且一致答案的模型。

DeepSeek-V3 architecture

这一切听起来很棒，但实际缺失了什么？让我们来看看拼图中缺失的部分。

Open-R1：缺失的部分

DeepSeek-R1 的发布对社区来说是一个惊人的福音，但他们并没有发布所有内容——尽管模型权重是开放的，但用于训练模型的数据集和代码却没有 😢。

Open-R1 的目标就是构建这些最后缺失的部分，以便整个研究和工业界都能使用这些配方和数据集来构建类似或更好的模型。通过公开进行这项工作，社区中的每个人都可以贡献！

如下图所示，这是我们的攻关计划：

步骤 1：通过从 DeepSeek-R1 中提炼高质量推理数据集来复现 R1-Distill 模型。
步骤 2：复现 DeepSeek 用于创建 R1-Zero 的纯强化学习流程。这将涉及为数学、推理和代码整理新的大规模数据集。
步骤 3：展示我们可以通过多阶段训练从基础模型 → SFT → RL。

Open-R1 steps 这些合成数据集将允许每个人通过在它们上面进行简单微调，将现有或新的 LLM 微调为推理模型。涉及强化学习的训练配方将作为任何人从零开始构建类似模型的起点，并允许研究人员在此基础上构建更先进的方法。

请注意，我们并不想止步于数学数据集。探索其他领域有很大潜力，显而易见的如代码，还有科学领域如医学，推理模型在这些领域可能产生重大影响。

这项倡议不仅仅是复现结果——更是与社区分享见解。通过记录哪些方法有效、哪些无效以及原因，我们希望能帮助其他人避免在不产生成果的路径上浪费时间和计算资源。

如果这听起来有趣，我们很希望得到你的帮助！无论是贡献代码，还是加入HF Mirror上的讨论，有很多方式可以参与进来。让我们一起构建吧！🚀