--- title: "DeepSeek-R1：从零开始，到超越人类" description: "DeepSeek-R1 是 DeepSeek 团队推出的首代开源推理大模型，核心突破在于纯强化学习（RL）训练可行性的验证，以及结合冷启动数据的多阶段优化策略，使其在数学、编程等推理任务上达到 OpenAI o1-1217 级别。" date: 2025-02-09T14:47:25Z canonical: https://xiaobox.github.io/p/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/ author: 小盒子 categories: ["AI"] tags: ["LLM", "DeepSeek", "算法", "架构"] source: https://mp.weixin.qq.com/s/001OE3IfxeRP21-hNg7eQQ license: CC BY-NC-SA 4.0 license_url: https://creativecommons.org/licenses/by-nc-sa/4.0/ --- # DeepSeek-R1：从零开始，到超越人类 ## 概述 `DeepSeek-R1` 是 DeepSeek 团队发布的首代开源推理大型语言模型 (LLM)，包括两个主要模型：`DeepSeek-R1-Zero`和 `DeepSeek-R1`。 `DeepSeek-R1-Zero` 以纯强化学习 (RL) 训练而成，在无监督微调 (SFT) 预热的情况下直接通过大规模 RL 获得了强大的推理能力。 `DeepSeek-R1` 则在此基础上引入了多阶段训练流程和“冷启动”数据，以解决 R1-Zero 存在的可读性差、语言混杂等问题，并进一步提升推理性能。 其核心突破在于：**证明了纯 RL 训练的可行性（DeepSeek-R1-Zero）以及结合冷启动数据的多阶段优化（DeepSeek-R1），在数学、编程等推理任务中达到与 OpenAI o1-1217 闭源模型相当的性能。** 可以从下图中回顾一下 AI 领域中一些基础概念的关系 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/001-da8cd692.gif) ## 模型概述与架构 模型架构层面：R1 采用了深度 Transformer 架构，并以 `DeepSeek-V3-Base` 模型为基础。`DeepSeek-V3` 是一个拥有 6710 亿参数的混合专家模型，具备强大的通用能力。 R1 通过使用 V3 的 Base 子模型（一个数十亿参数的密集 Transformer）进行初始化，并通过强化学习训练，逐步演化出复杂的推理能力。 DeepSeek 团队利用他们自研的 **“群组相对策略优化” (GRPO) 算法来进行强化学习**，该算法能有效提升模型的推理表现。 此外，他们还发布了六个从 R1 蒸馏而来、参数规模从 15 亿到 700 亿不等的小型密集模型，这些模型基于 Qwen 和 Llama 架构，旨在方便下游应用部署。 这个模型的架构有点像是给它搭建了一个强大的思考框架。 就好比给一个孩子提供了丰富的学习资料和良好的学习环境，让它能够在这个基础上更好地发挥自己的聪明才智。`DeepSeek-V3-Base` 就像是这个 “孩子” 最初的知识宝库，而通过一系列的强化学习训练，这个 “孩子” 就能在这个宝库的基础上，学会更多复杂的思考方式，就像一个普通学生逐渐成长为一个能够解决高难度问题的学霸。 > “ > > 想象一个刚学数学的孩子：他最初面对复杂题目时手足无措，但通过不断尝试错误、总结经验，最终掌握解题方法。`DeepSeek-R1`正是通过类似的"强化学习"机制，让 AI 实现了从"死记硬背"到"逻辑推理"的跨越。 **研究团队设计了一个独特的训练系统：** - 初阶修炼（R1-Zero）：让基础模型直接面对数学题、编程题等挑战，完全自主尝试解题。就像给 AI 一本没有答案的习题集，每次解题后系统自动批改，答对奖励"小红花"，答错扣分。 - 进阶指导（R1）：当 AI 形成基本解题能力后，引入数千条人工标注的优质解题范例（冷启动数据），相当于给这个"自学成才"的学生请了私教，规范其解题步骤和语言表达。 - 综合实战：最后让 AI 在包含数学、编程、常识问答的混合题库中反复训练，确保它能应对各类复杂问题。 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/002-9a5ef597.png) 这种"先放养后规范"的训练方式，使最终模型在保留自主推理能力的同时，输出更符合人类习惯的解题过程。例如面对几何证明题时，AI 会自动生成类似学霸的思考路径： ``` <思考> 已知三角形 ABC 是等边三角形，我需要证明三个内角都是 60 度。 第一步：回忆等边三角形的定义——三边长度相等。 第二步：联想到三角形内角和定理，总和为 180 度。 第三步：由于三边相等，三个角必然相等，故每个角为 180/3=60 度。 <答案> 证明完成，每个内角均为 60 度。 ``` ## 训练方法与强化学习策略 训练流程采取多阶段逐步增强策略，通过交替进行监督微调（SFT）和强化学习（RL）来激发模型的推理潜能。 1. 冷启动监督微调（`Cold-Start SFT`） ：首先，在 `DeepSeek-V3-Base` 上进行初步的有监督微调。作者收集了数千条 “冷启动” 数据，对 Base 模型进行微调。这些冷启动数据旨在提升模型基础的语言表达和可读性，避免模型直接 RL 训练时出现输出混乱、难以阅读的问题。经过冷启动 SFT 后，模型具备基本的指令跟随和清晰表达能力，为后续强化学习奠定基础。 2. 第一阶段强化学习（推理能力强化） ：接下来，对经过 `SFT` 的模型执行大规模强化学习训练，专注于复杂推理任务。这一阶段类似于 `DeepSeek-R1-Zero` 的训练过程，即仅通过 RL 不断试错来提升推理正确率。具体而言，设计了奖励函数来鼓励模型产生正确且有逻辑的推理链。模型通过生成解题过程（`Chain-of-Thought`）和最终答案，由程序或判题模型自动判定答案正误，给予奖励信号。例如，在数学问题上，若模型最终答案正确则获得高奖励，同时过程中语言流畅度也会影响奖励。这一阶段采用 `GRPO 算法`不断优化模型策略，使模型的推理自我进化能力显著提高。随着数千步的 RL 训练，`DeepSeek-R1-Zero` 在推理基准上的表现大幅提升：如 AIME 数学竞赛题 Pass@1 准确率从 15.6% 飙升至 71.0%，并通过多答案投票提升至 86.7%，已接近 `OpenAI o1-0912` 模型。训练过程中模型还自然涌现出反思（reflection）和探索替代方案等复杂推理行为。然而，纯 RL 训练的模型出现了输出可读性差、掺杂中英等问题。 3. 拒绝采样与二次监督微调 ：为弥补 RL 模型在语言表达上的不足，在 RL 收敛后引入拒绝采样（`rejection sampling`）策略生成新的高质量 SFT 数据。具体做法是：从 RL 阶段的模型中采样大量回答，对每个问题保留最优解（例如正确且表述好的答案），配合 `DeepSeek-V3` 已有的监督数据（涵盖写作、问答、Self-cognition 等非推理领域）共同组成扩充的微调数据集。对这些数据进行清洗筛选，例如过滤掉混杂多语言、段落冗长或包含代码块的链式思维内容，确保数据质量。最终得到约 80 万条多样化高质量样本。随后，对 `DeepSeek-V3-Base` 模型进行第二次有监督微调（训练约 2 个 epoch）。这一步相当于将模型在 RL 中学到的优秀推理策略 “蒸馏” 回模型，并结合外部监督数据，使模型在保持推理能力的同时，显著改善语言流畅度、一致性和多领域能力。 4. 第二阶段强化学习（全场景强化） ：最后，对二次微调后的模型执行附加的 RL 微调，融合所有类型场景的提示进行训练。这一阶段的 RL 不再仅限于数学或编码等推理任务，而是引入多种场景，同时关注对齐人类偏好和有害内容规避等目标。为此，构建了综合的奖励信号：一方面沿用推理准确性的奖励，另一方面增加偏好模型对回答有帮助性、无害性的评分作为辅助奖励。偏好模型和偏好数据的构建借鉴了 `DeepSeek-V3` 在 `RLHF` 中的做法，使用了类似比例的人工偏好对数据和提示分布。通过将多种奖励加权求和，模型在 RL 中同时优化推理正确性和回应的友好度。训练一直持续到各类任务的性能收敛。经过这一多信号、多场景的 RL 微调后，得到最终的 `DeepSeek-R1` 模型。这种 **“SFT+RL+SFT+RL”** 的多阶段训练策略有效结合了监督学习保证基本表现和 RL 挖掘推理潜力的优点，使模型在推理能力和语言质量上达到较佳平衡。 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/003-b4cd42f3.png) **我们可以把训练 DeepSeek-R1 的过程想象成培养一个学生的过程。** 1. 预热训练（**冷启动监督微调**） ：就像老师先给学生一些基础的教材和简单的题目，让学生先学会基本的表达和答题规范。这些 “冷启动” 数据就像是给模型喂了一些容易消化的知识点，让它先知道怎么用通顺的语言来回答问题，为后面更复杂的训练打下基础。 2. 自我尝试（**第一阶段强化学习**） ：接下来，就像把这个学生放到一个充满各种难题的环境中，让它自己去尝试解答。在这个过程中，它会不断地犯错，但也会因为答对一些题目而得到奖励。比如在解数学题时，如果它算出了正确答案，就会得到一个高分奖励，同时如果它的解题过程写得很清楚，也会得到额外的鼓励。通过这样的反复尝试和奖励机制，这个 “学生” 的解题能力逐渐提高，就像 `DeepSeek-R1-Zero` 在这个阶段通过强化学习不断提升自己的推理能力一样。不过，这个阶段的 “学生” 有时候说话还不太清楚，可能会出现一些混乱的表达。 3. 优例精炼（**拒绝采样与二次监督微调**） ：当 “学生” 自己摸索了一段时间后，老师会从它之前做过的题目中挑选出一些优秀的解答，再结合一些新的知识资料，重新给它进行一次强化训练。这就像是对它的思考方式进行一次整理和优化，让它学会用更好的方式来表达自己的想法，同时也能更好地运用各种知识。经过这一步，模型的回答变得更加流畅和准确了。 4. 综合考核（**第二阶段强化学习**） ：最后，就像让学生参加一场综合性的考试，面对各种类型的题目，不仅要看它能不能解出难题，还要看它的回答是不是符合人们的要求，比如有没有礼貌、会不会说一些不合适的话等。通过这样的综合训练，最终得到的 `DeepSeek-R1` 就像一个经过全面培养的优秀学生，既能解决复杂的问题，又能用清晰、得体的语言来回答各种问题。 ## 核心技术突破 传统 AI 训练依赖大量人工标注数据，而 DeepSeek-R1 的核心创新在于： - 智能评分系统（GRPO 算法） - 双重奖励机制 ### GRPO 算法 全称：群体相对策略优化（Group Relative Policy Optimization） 核心思想：通过比较 AI 模型生成的多个答案，选出最优秀的那部分来改进模型，而不是像传统方法那样依赖人工标注的参考答案。 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/004-290a2a49.png) ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/005-e5cbc8ac.gif) 举个🌰： 假设让全班同学做同一道数学题，老师会先收齐所有答案，选出得分最高的前几名，然后让其他同学以这些优秀答案为标准改进自己的解题思路。GRPO 就是用这种方式训练 AI 模型。 这种技术路径大幅降低了训练成本（据估算比传统方法节省 60%以上资源），使得高水平 AI 模型的门槛进一步降低。 ### 双重奖励机制 - 准确性奖励：通过代码编译器验证程序正确性，用数学符号引擎验证计算步骤 - 格式奖励：要求答案必须包含 `<思考>` 和 `<答案>` 结构化标签，确保可读性 这种设计让 AI 在训练中自然涌现出人类般的解题策略。例如在测试中观察到，当首次解答错误时，AI 会自动生成修正版： ``` 初次尝试：设 x 为未知数。..（计算错误） 反思：第二步的方程建立有误，应改用二次函数求根公式 修正解：重新设定变量关系。..（正确答案） ``` 双重奖励机制可以用一个生动的比喻来理解：它就像一位既严格又贴心的老师，用 **“答案对”** 和 **“步骤好”** 两把尺子 同时训练 AI 模型 与传统方法的对比 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/006-d67cef5a.png) ## 模型蒸馏在 DeepSeek‐R1 上的应用 ![Image](https://pub-f29bf2b53160470c9a85250116509a24.r2.dev/post/2025-02-09-deepseek-r1-cong-ling-kai-shi-dao-chao-yue-ren-lei/007-1c1d8570.png) > “ > > 模型蒸馏（Knowledge Distillation）是一种模型压缩技术，其核心思想是利用一个大模型（通常被称为“教师模型”）中蕴含的知识，来指导训练一个较小的模型（通常称为“学生模型”），使得这个小模型在推理任务上能够达到与大模型相近的性能，但计算资源消耗更低、部署更为便捷。 在 DeepSeek‐R1 的场景中，DeepSeek 团队使用了大规模强化学习训练得到的 R1 模型作为教师，通过 R1 模型生成大量高质量的推理数据（例如完整的思维链、解题过程、代码实现等）。然后利用这些数据对基于 Qwen、Llama 等开源基础模型进行监督微调，也就是模型蒸馏。这样做的好处在于： 高效利用教师知识：教师模型经过大量强化学习训练，已经掌握了复杂推理任务的能力。通过蒸馏，学生模型可以“继承”这种能力，而无需重新进行大规模的 RL 训练。 降低计算和部署成本：相比直接训练一个大模型，学生模型的参数量更小（例如从 1.5B 到 70B 参数），在实际应用中所需的计算资源更低，便于在边缘设备或移动设备上部署。 实现竞争性性能：尽管参数量较少，通过教师模型提供的软标签和指导，蒸馏后的学生模型在推理任务（如数学、编程、逻辑推理）上也能达到竞争性水平，部分情况下甚至能接近大模型的表现。 ## 实验结果与性能评估 经过一系列的训练和测试，DeepSeek-R1 展现出了非常出色的能力。 - 数学考试 “学霸” ：在一些高难度的数学考试中，比如美国的数学邀请赛，`DeepSeek-R1` 的成绩和目前顶尖的 AI 模型差不多，就像一个数学学霸一样，能够解决很多让普通学生头疼的难题。在一份包含 500 道很难的数学题的测试中，它的准确率也非常高，达到了 97.3%，这说明它在数学推理方面已经达到了一个很高的水平，甚至超过了很多人类选手。此外，DeepSeek 团队还构建了名为 `DeepSeek-Math` 的数学推理数据集来检验模型极限，结果显示 R1 在包括 MATH-500 和 AIME 在内的数学基准上已达到当前开源模型顶尖水准。 - 编程高手 ：在编程方面，`DeepSeek-R1` 也表现得非常出色。它参加了一个编程竞赛平台的挑战，成绩超过了 96% 的人类选手，就像一个资深的编程高手。这意味着它不仅可以写一些简单的代码，还能解决一些竞赛级别的复杂算法问题，可以作为编程助手来帮助开发者提高效率。 - 知识问答达人 ：在涉及各种领域知识的问答测试中，`DeepSeek-R1` 的表现也非常亮眼。它能够回答很多历史、文学、科学等方面的问题，准确率接近 91%，几乎和顶尖的闭源 AI 模型差不多。这就像一个知识问答达人，拥有广博的知识和很强的理解能力，可以为人们提供准确的信息。 - 精准回答问题 ：在一些简单的事实性问答测试中，`DeepSeek-R1` 不仅能给出正确的答案，而且回答更加简洁精准。比如在 OpenAI 推出的一个测试中，它比之前的模型回答得更好，就像一个经过专业训练的答题能手，能够快速准确地回答问题，让人们更容易理解和获取信息。 ## 应用价值 `DeepSeek-R1` 的成功带来了多方面的应用价值。在教育领域，它可以作为智能教师或辅导工具，详细解答复杂问题，提供证明思路，帮助学生更好地理解知识。对于科研人员来说，它可以作为一个 “头脑风暴” 助手，提供新的解题思路和答案，辅助科学研究。在代码开发方面，它可以作为编程助手 AI 部署在开发者工具中，帮助自动生成代码片段、优化算法，或者根据错误信息提示调试方向。此外，`DeepSeek-R1` 的开源性为整个 AI 领域的研究提供了宝贵的参考模型和开源代码，有助于推动通用人工智能的发展。 ## 思考：当 AI 开始定义智能边界 DeepSeek-R1 带来的不仅是技术突破，更引发深层次思考： - **在 AI 能够完成大多数认知任务的时代，教育的核心目的是什么？**（也许不是传授知识，而是培养人性中最独特的那些品质：创造力、同理心、批判性思维） - **AI 时代，教育的评估体系、课程结构和师生关系将如何重构？**（传统的学科划分将被打破，未来的课程可能会围绕“问题域”而不是“知识域”来组织，教师将从知识的权威转变为学习的协作者。） - **当 AI 能够协助科学家进行复杂的科研工作，如何确保科研的伦理性和责任感？** - **AI 在科研中的应用是否会限制人类科学家的创新思维？**（如何在利用 AI 的同时，保持人类科学家的独立思考和创新能力？） - **在 AI 能够处理复杂任务的同时，如何确保其决策过程的可解释性？**（特别是在关键领域，如医疗、金融、司法等，如何防止 AI 成为不可理解的“黑箱先知”？） - **AI 的广泛应用会对社会产生哪些深远的影响？**（例如，AI 是否会导致大规模的失业问题，如何确保 AI 的发展惠及全人类？） - **如何制定 AI 的伦理准则，确保其在发展过程中符合人类的价值观和道德标准？**（例如，在 AI 进行决策时，如何确保其遵循公平、公正、透明的原则？） - **AI 的未来发展方向是什么？是继续深化现有的技术，还是探索全新的技术路径？**（例如，AI 是否会向更加智能化、人性化的方向发展？） - **随着 AI 的不断发展，人类与 AI 之间的关系将如何演变？**（是合作还是竞争，是互补还是替代？如何确保人类与 AI 的和谐共处？） - **AI 进化是否必然导致“人机合一”？** （硅基+碳基，硅碳合一）