蚂蚁：适配信息缺失的强化学习框架

标题Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning来源arXiv, 2608.16554v1️文章简介研究问题当用户查询缺少得出唯一答案所需的关键前提时大语言模型应如何避免幻觉并做出有用响应主要贡献论文提出了ACA-RL框架及MPB基准通过结构化奖励训练模型在信息缺失时主动询问、条件化回答或弃权。重点思路构建推理图引导的数据合成流水线将良构问题转化为带有局部缺口标注的缺失前提训练实例生成12万条高质量数据。设计包含五种行为分类的结构化奖励函数优先奖励主动询问和条件化惩罚幻觉和无支持猜想。引入人工验证的MPB基准涵盖数学、逻辑及现实场景用于评估模型识别欠定任务及处理不确定性的能力。采用冷启动SFT结合PPO算法进行训练平衡缺失前提鲁棒性与常规推理能力避免过度拒绝导致的性能下降。分析总结ACA-RL在MPB及第三方不可答基准上显著优于Vanilla PPO和IDK-RL证明仅靠答案导向的RL无法有效处理缺失前提。模型行为呈现阶段性演变早期快速学会弃权后期逐渐转向更具信息量的条件化表达和主动询问超越了简单的“我不知道”。在保持GSM8K、AIME等常规推理任务竞争力的同时ACA-RL未出现严重的过度拒绝现象LiveBench得分与基线持平。推理图引导的合成数据比随机截断或现有不可答数据集更能提升模型对逻辑缺口的敏感度及行为得分。个人观点论文重新定义了推理模型的成功标准从单纯追求正确答案扩展到识别任务欠定性并建设性响应核心突破是将模糊的“不确定性”拆解为可优化的具体行为层级。