多模态 Agent 一半的思考都在自说自话：剪掉 64% 推理 token，准确率反而全场最高

多模态 Agent 一半的思考都在自说自话剪掉 64% 推理 token准确率反而全场最高一个多模态智能体在跑多步任务时模型自己生成的推理文字能占到上下文一大半。把这些文字剪掉超过六成任务准确率不但没掉反而在同类剪枝方法里排到第一。这不是玩笑而是 8 月下旬一篇 arXiv 论文给出的实测结论。论文题为「Buried in Textual Debt」中文可以直译为「埋在文本债务里」它提出的方法叫 SPARE。团队观察到多模态大模型一旦被当作多步 Agent 来用就会在一个很长的轨迹里不断写下自己的推理过程先分析任务、再决定调哪个工具、看完工具返回的结果又接着想。这些文字越积越多会反过来把画面里的视觉证据「挤出」模型的注意力论文把这种自我挤压称为文本债务。SPARE 做的就是还债把已经不再提供新信息的推理段剪掉同时保留真正关键的视觉证据。一、自说自话挤掉证据文本债务是怎么来的为什么一个模型会欠下文本债务这要从多模态 Agent 的工作方式说起。现在的主流做法是让多模态大模型在回答之前先「想」一段看到一张图理解问题写出一段推理然后调用工具比如放大图片的某个区域、用 OCR 提取文字、搜索网页拿到工具结果后再继续想。这套流程在解决复杂视觉任务上确实有效问题恰恰出在「想」的累积。想象一个要跑十步的任务。每一步Agent 都会写下几百个 token 的推理文字还要把工具返回的图像、文字都塞进上下文。十步下来上下文里绝大部分是模型自己说的话真正的画面信息只占很小一块。更麻烦的是这些推理文字不是中性的。模型在推理时会对「下一步怎么做」产生假设如果早期假设错了后面的文字会沿着错误方向一路堆砌把模型的注意力锁死在错误路径上。即使工具已经把正确的视觉证据摆到了眼前模型也可能「看不见」。论文的核心观察正是这一点自生成的文本一旦主导上下文视觉证据就会被系统性压制。智能体不是「看不到」图像而是注意力预算被自己的话占满了。二、想得越多越看不见两个具体观察论文把问题拆成两个具体观察每一条都直接决定了剪枝策略该怎么设计。第一个观察是推理一旦完成了它的使命就会立刻变成冗余。当一个段落的推理已经成功把任务相关的视觉证据「落地」到上下文里后面再重复这段推理就没有新信息了这时它是可以安全剪掉的。第二个观察更微妙当视觉证据还没有被可靠地落地时过早写下的假设论文叫 stale hypotheses过期假设会误导后续的推理。也就是说推理文字不仅会冗余还会「带偏」。这带来一个硬约束剪枝不能一刀切必须分清哪些推理段的信息已经被任务状态覆盖哪些还没有。这两条合起来决定了 SPARE 的底线剪掉的只能是冗余文本视觉证据必须保住。丢了视觉证据的剪枝准确率会明显下滑论文里把它称为无差别剪枝的陷阱。三、SPARE 怎么剪任务态摘要加 KL 引导SPARE 的方法可以拆成四步全部围绕一个核心问题怎么判断一段推理还重不重要。第一步生成任务态摘要。SPARE 用一个轻量的摘要器把「任务已经做到哪一步、手上掌握了哪些信息」压缩成一小段任务态摘要。关键点在于这份摘要只是临时的诊断工具它不会写进持久轨迹。换句话说它不是拿摘要替换历史而是拿摘要当标尺。第二步重放比对。对每一段候选的历史推理SPARE 让同一个模型分别读两份上下文一份是原始上下文一份是用摘要条件化之后的上下文然后看模型在两种情况下预测下一个 token 的概率分布差异有多大。第三步用 KL 散度打分。模型在两种上下文下输出的概率分布之间的差异用反向 KL 散度来衡量论文称之为 on-policy self-distillation简称 OPSD。差异越大说明这段推理的信息还没被摘要覆盖属于关键证据要保留差异越小说明这段推理已经并入了任务状态属于冗余可以剪。整个判断不需要任何外部验证器也不需要额外的奖励模型。第四步重建与替换。被判定为冗余的段不是简单地删掉。对于仍然包含结构化视觉线索的段SPARE 会把它们压缩成一段简洁的视觉证据描述纯规划性的文字直接移除工具调用、观察结果和图像本身原样保留。这样剪完的上下文文字少了视觉证据反而更突出。论文还做了一步锦上添花用监督微调把摘要器训得更紧凑、覆盖更广从而让剪枝可以更激进而不丢信息。四、实测剪掉六成 token准确率还最高SPARE 在多个多步视觉工具基准包括 BLINK-Jigsaw、GTA、MNMS上做了评测涉及多个模型骨干。最核心的结论是它在所有对比的剪枝方法中拿到最高的平均准确率同时移除了 37.89% 到 64.58% 的推理 token。论文里那张「准确率对剪枝比例」的对比图特别能说明问题。拿聚合数据看完全不剪的全轨迹准确率是 48.81%随机剪掉三分之一的推理准确率直接掉到 41.95%而且剪得再狠一点准确率还是趴在 42% 附近。这说明无差别剪枝是在蒙着头删把有用的和没用的一起删了。只靠 KL 引导选择、不重建证据的做法能回到 48.36%但只能剪掉 16.40%因为保留的段太多。把所有推理都换成视觉证据的做法剪得多75.62%但准确率只有 42.86%说明光靠证据重建不够判断也很重要。SPARE 把「选择」和「重建」两件事都做了拿到 50.34% 的准确率和 57.81% 的剪枝比例稳稳站在所有对比方法的上方。换句话说它既比不剪更准还只用了不到一半的推理 token。剪枝方法平均准确率推理 token 保留比例特点全轨迹不剪48.81%100%推理文字完整保留视觉证据被压制随机无差别剪枝41.95%约 67%有用无用一起删准确率明显下滑仅 KL 引导选择48.36%83.60%只删低分冗余段剪得保守全部替换为视觉证据42.86%24.38%剪得狠但丢了推理判断SPARE选择加重建50.34%42.19%最高准确率同时剪掉 57.81% 推理 token除了准确率论文还观察到一个更底层的变化剪掉冗余文字之后模型对图像 token 的注意力占比明显上升。这直接验证了文本债务假说文本主导减弱视觉证据的权重就回来了模型重新学会「看图」而不是「只看自己的话」。五、这件事的意义和局限SPARE 的意义在于它把「剪掉部分推理」从一句口号变成了可判定的工程问题。过去做上下文压缩要么无差别删伤准确率要么全部保留省不了多少。SPARE 提供了一条中间路径用任务态摘要当标尺、用 KL 散度当尺子精确找出「已经没用的那部分推理」同时用重建保住视觉证据。这套思路不需要外部验证器理论上可以叠加在很多现成 Agent 上。它的局限也写得很清楚。第一目前主要针对多步视觉工具型 Agent对单轮或者没有明确结构化轨迹的 Agent应用不那么直接。第二生成摘要、重放上下文都有额外计算开销好在论文用自适应触发机制避免在短轨迹上浪费。第三剪枝是在推理时做的没有参与训练。如果未来能把「剪哪里」这件事也训练进模型压缩比例和准确率还有进一步空间。对研究者和工程实践者来说这篇论文最值得记住的一点是多模态 Agent 的上下文不是越大越好模型自己写的推理也不总是越多越聪明。学会选择性遗忘也许是长上下文时代最重要的工程能力之一。