揭秘88.9%背后的训练魔法：DeepSeek-Prover-V2-671B递归证明搜索冷启动+强化学习全流程拆解

揭秘88.9%背后的训练魔法DeepSeek-Prover-V2-671B递归证明搜索冷启动强化学习全流程拆解【免费下载链接】DeepSeek-Prover-V2-671B项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-Prover-V2-671BDeepSeek-Prover-V2-671B是面向Lean 4 形式化定理证明的开源大模型以 671B 参数登顶神经定理证明NTPSOTA在 MiniF2F-test 上达到88.9% 通过率、PutnamBench 解出49/658题。本文拆解它的两板斧——递归证明搜索Recursive Proof Search冷启动二值奖励强化学习带你读懂这个证明魔法的完整训练流水线并附上推理启动与架构细节。 关键成绩数值MiniF2F-test 通过率88.9%PutnamBench 解题数49 / 658模型规模671BMoE训练路线递归冷启动 → SFT → RL一、全流程总览冷启动强化学习两大阶段 整个训练流水线可以概括为三步走递归证明搜索由 671B 级模型DeepSeek-V3把复杂定理拆成证明草图 Lean 4 子目标序列再用7B 小证明器逐个求解子目标拼出完整的冷启动推理数据冷启动微调SFT在合成的非形式化思维链 形式化证明配对数据上微调证明器模型强化学习RL用对/错二值反馈作为奖励进一步强化模型从非形式化推理通向形式化证明的能力。详细流程描述见 README.md 的2. Model Summary章节模型架构配置见 config.json推理实现见 modeling_deepseek.py。二、冷启动第一步递归证明搜索如何造数据 这是全流程最核心的一步关键设计是大小模型分工分解 形式化提示 DeepSeek-V3 把定理分解为高层证明草图proof sketches同时把这些证明步骤形式化为 Lean 4 代码得到一串子目标subgoals子目标搜索交给更小的7B 证明器模型完成每个子目标的证明搜索从而大幅降低计算开销数据合成当难题的分解步骤全部被解决后将完整的逐步形式化证明与 DeepSeek-V3 的思维链chain-of-thought配对形成冷启动推理数据。 这一步的精妙之处非形式化推理思路与形式化推理Lean 4 代码被统一进了同一份训练数据为后续用自然语言想思路、用形式语言写证明的能力打下基础。三、冷启动第二步SFT 之后上强化学习 ️数据筛选和训练目标同样讲究难题筛选挑选那些 7B 证明器无法端到端解决、但所有分解子目标都已解决的题目——难度刚刚好既有学习价值又能拼出正确证明证明拼接把所有子目标的证明组合成原始问题的完整形式化证明追加到 DeepSeek-V3 阐述引理分解的思维链之后形成非形式化推理 → 形式化证明的连贯样本RL 奖励设计沿用推理模型的标准训练目标以证明正确/错误的二值反馈作为主要奖励监督——Lean 4 编译器就是最客观的裁判无需复杂奖励函数。四、671B 模型规格架构参数怎么读 DeepSeek-Prover-V2-671B 与DeepSeek-V3 共享同一套架构关键参数都能从 config.json 里直接读到 配置项值含义num_hidden_layers61主干解码器层数n_routed_experts256每层路由专家数n_shared_experts1共享专家数num_experts_per_tok8每个 token 激活 8 个专家first_k_dense_replace3前 3 层为稠密层其后为 MoE 层hidden_size/intermediate_size7168 / 18432隐藏层 / MLP 维度max_position_embeddings163840YaRN 缩放后最长上下文163.8Kquantization_configfp8e4m3FP8 块量化降低存储开销num_nextn_predict_layers1多 token 预测层推理加速对应的 PyTorch 实现MoE 路由、GQA 注意力、YaRN 位置编码等都在 modeling_deepseek.py 中配置类DeepseekV3Config定义于 configuration_deepseek.py。权重分片全部权重切成163 个 safetensors 文件model-00001-of-000163.safetensors~model-00163-of-000163.safetensors张量到分片的映射关系记录在 model.safetensors.index.json 中词表规模为 129280vocab_size分词器配置见 tokenizer_config.json。五、ProverBench325 道题的数学能力考场 团队同步发布了ProverBench基准共325 道形式化题目覆盖竞赛与教材两个层次数学领域题数AIME 2425竞赛真题15数论 / 初等代数40 / 30线性代数 / 抽象代数50 / 40微积分90实分析 / 复分析 / 泛分析30 / 10 / 10概率论10其中 15 道来自 AIME 24/25 竞赛的数论与代数题高中竞赛难度其余 310 道来自精选教材例题与教学教程本科水平。完整题目集见 README 的3. ProverBench章节数据集在 HuggingFace 上的DeepSeek-ProverBench中下载。六、快速上手一行命令跑起推理 模型已开源两个规格671B基于 DeepSeek-V3-Base 训练与7B基于 DeepSeek-Prover-V1.5-Base支持 32K 上下文。671B 权重可用以下命令获取git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-Prover-V2-671B本地克隆后可用Hugging Face Transformers直接加载推理trust_remote_codeTrue自动使用仓库内的 modeling_deepseek.py。核心调用链很简单AutoTokenizer分词 → 套用 chat 模板 →model.generate(...)生成证明。Prompt 技巧来自 README 第 5 节示例输入一段带sorry占位的 Lean 4 定理提示词要求模型先给出详细证明计划关键思路、中间引理、证明结构再产出正式 Lean 4 代码——这正是它冷启动思维链能力的直接体现theorem mathd_algebra_10 : abs ((120 : ℝ) / 100 * 30 - 130 / 100 * 20) 10 : by sorry七、写在最后88.9% 为什么了不起 ✨ 设计点价值递归分解 小模型搜索用 7B 模型承担子目标搜索算力开销大幅降低思维链 形式化证明配对非形式化推理与形式化推理统一进一个模型二值奖励强化学习Lean 编译器当裁判奖励客观、无偏从大模型想思路、小模型做搜索的分工到编译器打分的强化学习DeepSeek-Prover-V2-671B 的 88.9% 不是单点技巧的胜利而是一条数据合成 → 冷启动 → 强化完整链路的系统胜利。想要复现或研究这条链路从 README 的 Model Summary、config.json 的架构参数和 modeling_deepseek.py 的推理实现入手就是最好的阅读顺序。【免费下载链接】DeepSeek-Prover-V2-671B项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-Prover-V2-671B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考