DeepSeek-R1：架构和训练详解｜ DeepSeek 系列

yangxinhong 2025-03-05 经营范围 1 次浏览 0个评论

在过去的几天里，人们对新发布的开放权重模型 DeepSeek-R1 [1] 着迷不已，尽管训练成本低得多，但其性能与 GPT-o1 相当。

DeepSeek-R1 在复杂的推理任务中表现出色，包括数学、编码和科学推理。该模型充分利用测试时间计算来执行详细的思维链 (CoT) 推理。当通过聊天界面进行测试时，它首先会经历一个“thinking out loud”步骤，然后提供最终的、结构良好的答案。

DeepSeek-R1 的主要目标是探索使用强化学习作为唯一的后训练技术可以达到何种程度。典型的 LLM 训练流程包括预训练阶段，模型在此阶段学习从大量未标记数据中预测下一个标记，然后是后训练阶段。后训练阶段通常包括监督微调 (SFT)，并通过带人工反馈的强化学习 (RLHF) 进一步增强。DeepSeek-R1 旨在最大限度地减少甚至消除对 SFT 的依赖，原因如下：

SFT 需要高质量的人工注释数据。注释过程通常很慢、成本高，并且可能因注释者的偏好而引入潜在偏差。

复杂的推理任务可能超出了普通人类的理解能力。纯强化学习方法使模型能够开发出超越传统人类思维界限的复杂推理行为。

有效利用“测试时间计算”是另一个关键优势。使用 SFT，注释者必须提供完整的思路，详细说明从推理过程到最终答案的每个步骤。这种方法在推理长度方面难以扩展。相比之下，RL 不依赖于显式标签，允许模型“根据需要思考”，从而最大限度地发挥“测试时间扩展”定律的优势。

但 DeepSeek-R1 是否完全依赖 RL？答案既是肯定的，也是否定的。作者发布了两个不同的模型：DeepSeek-R1-Zero 和 DeepSeek-R1。前者仅在后训练过程中使用了 RL。虽然它在某些推理基准上表现出与 GPT-o1 相当的性能，但它存在可读性差和偶尔出现语言混杂的问题。为了解决这些问题，引入了第二个模型 DeepSeek-R1。它经历了一个四阶段的后训练过程，并结合了 SFT 来解决这些挑战并进一步提高性能。

一、DeepSeek-R1 架构

R1-Zero 和 R1 均从 DeepSeek-V3-Base 检查点继续进行后期训练。DeepSeek-V3 [2] 是 DeepSeek AI 开发的开放权重混合专家 (MoE) 模型，具有多项关键创新，包括 MoE 结构、多头潜在注意力 (MLA) 和多令牌预测 (MTP)。

二、 DeepSeek-R1-Zero — 无 SFT 模型

1. 强化学习算法

DeepSeek AI 利用了组相对策略优化 (GRPO)，这是 2024 年 DeepSeekMath 论文中提出的强化学习算法。GRPO 基于近端策略优化 (PPO) 框架构建，旨在增强语言模型中的数学推理能力，同时减少内存消耗。

DeepSeekMath 论文的详细信息：https://arxiv.org/pdf/2402.03300

图 1. GRPO 目标函数

2. 奖励建模：

奖励的计算方式在很大程度上决定了强化学习训练的成功。DeepSeek-R1-Zero 完全依赖于基于规则的奖励系统，该系统主要由两种类型组成：

准确度奖励：准确度奖励模型评估响应是否正确。

格式奖励：奖励强制模型将其思考过程置于“”和“”标签之间。

请注意，在此设置中，没有使用神经奖励模型，这意味着没有经过训练的神经网络来近似奖励函数。作者认为，神经奖励模型在大规模强化学习过程中容易受到奖励黑客攻击。此外，重新训练奖励模型需要额外的资源，并使整个训练流程变得复杂。

3.训练模板

对于对话式的 LLM，通常需要问答模板。令人惊讶的是，DeepSeek-R1-Zero 的提示模板非常简单。

表 1. DeepSeek-R1-Zero 的模板。训练期间，提示将被替换为具体的推理问题。

4.性能与推理：

在训练过程中，DeepSeek-R1-Zero 开发出了复杂的推理行为，例如反思（模型重新审视并重新评估其先前的步骤）以及探索解决问题的替代方法。

他们还观察到 DeepSeek-R1-Zero 在训练过程中的“自我进化”过程，平均响应长度稳步增加。换句话说，R1-Zero 学会了花更多时间思考，有效地反映了测试时间计算的缩放规律。

图 3. DeepSeek-R1-Zero 在强化学习过程中对训练集的平均响应长度

尽管仅使用强化学习（RL）进行训练，DeepSeek-R1-Zero 仍具有令人印象深刻的表现。

表 2. DeepSeek-R1-Zero 与 OpenAI o1 模型在推理相关基准上的比较

图 2. DeepSeek-R1-Zero 在训练过程中的 AIME 准确率

不过，正如前面提到的，R1-Zero 也存在一些局限性。它经常面临可读性差、语言混杂等问题。DeepSeek-R1 的推出旨在解决这些挑战。

三、DeepSeek-R1

DeepSeek-R1 旨在通过结合多阶段后训练过程来改进 Zero。

与 R1-Zero 不同，R1 从监督微调 (SFT) 开始，以克服强化学习的冷启动阶段。首先通过使用少量演示直接提示 R1-Zero 回答来生成标签。然后通过人工注释者进行后处理来完善这些标签。在此步骤中收集了数千个冷启动样本以进行微调。

在对冷启动数据进行 DeepSeek-V3-Base 微调后，作者采用了与 R1-Zero 相同的大规模强化学习训练流程。此阶段侧重于增强模型的推理能力。为了解决语言混合问题，他们在强化学习训练期间引入了语言一致性奖励，该奖励以思路链 (CoT) 中目标语言单词的比例计算。

第三个训练阶段是另一个使用标记数据的监督微调 (SFT) 阶段。与主要侧重于推理的初始冷启动数据不同，此阶段结合了来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。目标响应（ground-truth）是通过从一组生成的响应中进行拒绝采样生成的，其分数由前面提到的基于规则的奖励系统或生成奖励模型（模型作为判断）确定。

最后，应用第二个 RL 阶段，即适用于所有场景的强化学习，以提高模型的有用性和无害性，同时完善其推理能力。此阶段还整合了来自不同管道的数据，将奖励信号与不同的提示分布相结合。

四、基准测试

DeepSeek-R1 在基准测试中取得了令人印象深刻的成绩，其性能与 GPT-o1-1217 相当，特别是在数学和编码等复杂的推理任务中。

表 3 DeepSeek-R1 与其他代表模型对比

DeepSeek-R1 震惊了世界，不仅因为它在低得多的训练成本下取得了令人印象深刻的表现，还因为它推动了 LLM 后训练中仅使用 RL 方法的使用。这一突破肯定会在不久的将来推动整个研究界向前发展，并引发人们对全球大型实验室在训练 LLM 上花费大量预算的合理性的质疑。

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述