ACL 2026 腾讯混元UNSW | 大模型奖励评分器训练全解：判别式打分如何替代投票实现更精准的CoT评估

论文题目Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty收录会议ACL 2026arXiv 链接https://arxiv.org/abs/2604.10072作者单位腾讯混元 新南威尔士大学UNSW领域LLM 高效推理 / 生成式奖励模型 / 推理优化关键词Discriminative Scorer, Voting Replacement, Continuous Reward, BERT Encoder, E-GRME-GRM框架最具突破性的设计之一是用判别式评分器替代传统GRM的投票机制。传统投票无法区分推理错误但答案蒙对和推理正确且答案正确两种本质不同的情况而判别式评分器输出连续质量分数将奖励信号的粒度从票数计数细化到质量度量。本文从评分器架构、训练数据构造、损失设计、收敛分析等多个角度全面解析这一关键组件。一、问题背景与动机1.1 投票机制的局限传统GRM从K条CoT中通过多数投票得到最终答案。然而投票只看答案是否一致无法判别推理过程的质量。例如5条推理链中3条因为同一错误捷径恰好得出正确答案2条经过完整正确推导也得出正确答案投票结果都是相同的但后两条显然质量更高、置信度更可靠。1.2 连续分数的优势判别式评分器为每条推理链分配一个连续分数q ^ ∈ [ 0 , 1 ] \hat{q}\in[0,1]q^​∈[0,1]可同时表达答案是否正确和推理是否扎实两层信息。这一信号在RLHF和Best-of-N采样中都更具操作性。二、评分器方法论2.1 评分器架构评分器S ϕ S_\phiSϕ​基于BERT-base编码器将输入提示x xx与候选推理链r rr通过分隔符拼接q ^ S ϕ ( x , r ) σ ( W ⋅ BERT ( [ x ; [SEP] ; r ] ) [CLS] b ) \hat{q} S_\phi(x, r) \sigma\big(W \cdot \text{BERT}([x;\text{[SEP]};r])_{\text{[CLS]}} b\big)q^​Sϕ​(x,r)σ(W⋅BERT([x;[SEP];r])[CLS]​b)其中σ \sigmaσ为sigmoid函数将logit映射到[ 0 , 1 ] [0,1][0,1]区间。参数量约1亿相对于主GRM模型可忽略不计。2.2 训练数据构造数据来源包括(1) 人工标注的(x, r, q)三元组(2) 用规则模型生成q ∈ { 0 , 0.3 , 0.7 , 1.0 } q\in\{0,0.3,0.7,1.0\}q∈{0,0.3,0.7,1.0}离散标签(3) 从GRPO在线采样的样本对( r , r − ) (r^, r^-)(r,r−)。三种来源混合后构成约200k训练样本。2.3 混合损失训练目标评分器损失定义为L scorer α ⋅ ℓ Huber ( q , q ^ ) ( 1 − α ) ⋅ ℓ Hinge ( r , r − ) L_{\text{scorer}} \alpha \cdot \ell_{\text{Huber}}(q, \hat{q}) (1 - \alpha) \cdot \ell_{\text{Hinge}}(r^, r^-)Lscorer​α⋅ℓHuber​(q,q^​)(1−α)⋅ℓHinge​(r,r−)其中Huber损失ℓ Huber ( q , q ^ ) { 1 2 ( q − q ^ ) 2 , ∣ q − q ^ ∣ ≤ δ δ ∣ q − q ^ ∣ − 1 2 δ 2 , ∣ q − q ^ ∣ δ \ell_{\text{Huber}}(q, \hat{q}) \begin{cases} \frac{1}{2}(q-\hat{q})^2, |q-\hat{q}| \le \delta \\ \delta|q-\hat{q}| - \frac{1}{2}\delta^2, |q-\hat{q}| \delta \end{cases}ℓHuber​(q,q^​){21​(q−q^​)2,δ∣q−q^​∣−21​δ2,​∣q−q^​∣≤δ∣q−q^​∣δ​铰链损失只在分差不足时激活使训练后期自动聚焦于难例。2.4 评分器嵌入E-GRM管线在长路径中模型为输入x xx生成K条CoT链评分器对每条链打分选择最高分输出r ∗ arg ⁡ max ⁡ r k S ϕ ( x , r k ) , k 1 , … , K r^* \arg\max_{r_k} S_\phi(x, r_k),\quad k1,\dots,Kr∗argrk​max​Sϕ​(x,rk​),k1,…,K评分器输出还作为下游GRPO对比奖励的来源R pair ( x , r , r − ) β ⋅ I [ Ans ( r ) y ] ( 1 − β ) ⋅ ( S ϕ ( x , r ) − S ϕ ( x , r − ) ) R_{\text{pair}}(x, r^, r^-) \beta \cdot \mathbb{I}[\text{Ans}(r^) y] (1-\beta) \cdot (S_\phi(x, r^) - S_\phi(x, r^-))Rpair​(x,r,r−)β⋅I[Ans(r)y](1−β)⋅(Sϕ​(x,r)−Sϕ​(x,r−))2.5 评分器与共识度的互补关系并行解码的共识度负责判定问题难度评分器负责判定推理质量。两者一前一后在E-GRM中形成是否需要推理 → 推理是否到位的两级评估。图1评分器位于长路径的末端是CoT选择和奖励生成的核心组件。图2评分器直接给出R pair R_{\text{pair}}Rpair​中的连续奖励信号。图3评分器训练位于SFT与GRPO之间是连接两个阶段的桥梁。三、实验评估3.1 评分器 vs 投票机制在RewardBench Reasoning子集上评估方式准确率Spearman相关决策置信度多数投票88.6%0.612离散平均投票89.4%0.643离散判别式评分器95.4%0.731连续判别式评分器在三项指标上均显著优于投票特别是Spearman相关系数提升约0.12。3.2 评分器规模 vs 性能评分器规模参数量RM-Bench延迟BERT-tiny14M73.2%0.04sBERT-mini41M76.8%0.07sBERT-base110M79.2%0.12sBERT-large340M79.6%0.31sBERT-base是性价比最优解参数量翻倍到large收益仅0.4%。3.3 训练数据规模分析数据量从50k增至200k时性能持续提升250k后趋于饱和说明评分器对数据量需求合理。3.4 标签噪声鲁棒性人为注入15%标签噪声后混合损失训练的评分器精度下降1.2%而单一MSE损失下降4.7%验证Huber段的抗噪声效果。3.5 嵌入RLHF后的端到端效果将判别式评分器作为RLHF奖励信号最终对齐分数比基于投票的奖励高3.3%对齐税降低1.8%。3.6 评分器输出分布分析我们绘制评分器在测试集上的输出分布直方图判别式评分器的输出呈现明显的双峰结构峰值在0.2与0.8附近而投票产生的软分数呈均匀分布。这一差异表明评分器学习到了好/坏的本质分类边界而不是随机分布。3.7 跨领域迁移测试我们将仅在数学领域训练的评分器迁移到代码领域在不重新训练的情况下仍能取得74.1%准确率仅比目标领域训练版本低2.3%证明评分器学到的是推理质量的通用特征而非领域特定的浅层模式。3.8 Best-of-N 表现在Best-of-8 与 Best-of-16 设置下使用评分器选择最佳样本的最终准确率分别为83.6%与85.2%而多数投票仅为78.4%和79.1%。评分器在更大N下的优势更加显著说明它能更精细地区分高质量样本之间的细微差异。四、贡献与局限4.1 核心贡献用BERT-base轻量评分器替代了重型LLM-as-Judge方案用连续分数替代了离散投票提供了更高分辨率的奖励信号通过混合损失同时实现校准与排序两个目标。4.2 局限与展望评分器跨领域泛化能力如代码→数学需进一步验证当前评分器架构基于英文BERT多语言版本待扩展评分器与主GRM未共享参数未来可探索联合训练方案。4.3 评分器训练的实践建议工程师在训练自己的评分器时建议(1) 数据混合策略——人工标注规则模型在线采样三类样本按2:3:5比例混合避免单一来源带来的分布偏差(2) 学习率Warmup——前1k步线性升至5e-5避免初始梯度过大(3) 早停策略——以验证集Spearman相关系数为指标连续3个epoch无提升即停止。五、结语E-GRM的判别式评分器证明了一个朴素但有力的观点奖励信号的质量决定RLHF的上限。用一个轻量、高校准、强排序的评分器替代粗粒度的投票是奖励建模领域一个值得借鉴的工程典范。六、延伸思考6.1 小评分器大策略的设计哲学E-GRM用110M评分器配合32B策略模型验证了小评分器大策略是可行甚至最优的设计。这一组合的关键洞察是判别评分任务的复杂度远低于生成任务无需将奖励模型规模与策略模型对齐。6.2 评分器作为可复用资产E-GRM训练得到的评分器具有跨任务可迁移性可作为团队内多个RLHF项目共享的基础组件。这种评分器即资产的理念有望降低RLHF训练的边际成本加速对齐研究的迭代。图表附录附图1Coupled-GRPO中评分器分差作为对比奖励信号。附图2扩展GRPO目标函数评分器为其提供核心奖励信号。参考文献Xue, C., Wang, Y., Liu, M., et al. (2026). Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty.Proceedings of ACL 2026. arXiv:2604.10072版权说明本文为对上述ACL 2026论文的学术解析仅供学术交流使用。版权归原作者所有。