Token-Regulated Group Relative Policy Optimization for Stable Reinforcement Learning in Large Lan...

论文核心总结与翻译一、主要内容该论文聚焦大语言模型（LLMs）强化学习推理能力优化，针对基于可验证奖励的强化学习（RLVR）中Group Relative Policy Optimization（GRPO）算法的核心缺陷展开研究：低概率token因梯度幅度大而过度主导模型更新，导致训练不稳定，同时抑制了更可靠的高概率token的学习贡献。论文通过理论分析证明，token的梯度范数与模型预测概率呈负相关（低概率token梯度更大），且实证发现高概率token多为数学/逻辑运算符、括号等核心推理元素（错误会导致整个解决方案失效），低概率token多为通用内容词（对核心推理贡献小）。基于此，提出Token-Regulated Group Relative Policy Optimization（TR-GRPO）算法，通过引入与token预测概率正相关的权重机制，下调低概率token的影响、强化高概率token的贡献，稳定梯度更新。实验在逻辑推理（KK谜题）、数学推理（OlympiadBench、Minerva等）和智能体问答（VerlTool Search）三大RLVR任务中验证，TR-GRPO在不同模型（Qwen系列、Mistral、LLaMA）上均持续优于GRPO，平均性能提升6%-97%，同时训练梯度更平稳、稳定性更强。二、创新点发现核心问题：揭示GRPO算法中token概率与梯度幅度的负相关关系，以及低概率token过度主导更新的不合理性（高概率token才是核心推理载体）。