如何一定程度地解决长任务的目标偏移问题

如何一定程度地解决长任务的目标偏移问题长任务、记忆压缩与目标账本怎么把完成权从模型手里拿回来《我在开启 Agent 的自进化》结尾我留了个坑没讲透长任务跑着跑着模型就开始自己认为收尾了——哪怕每一轮我都把当前目标重新告诉它一遍。先说我怎么撞上它的。跑 CTF 两百多道题开始的几个轮次都很正常然后对话轮数一长味道就变了。一开始我以为是 prompt 没写好反复往里加必须测试通过才算完之类的话。有用但管不长。直到我去翻自己系统的代码想确认这个模型会飘的现象到底出在哪才找到一行字字见血的根因续接时给模型的消息里只带了本轮推进 下一步从不带任务清单的真实状态。模型记忆里那份清单是刚开始时拍的之后再没人更新它——它每轮都以为任务清单还跟刚开始一样。漂移是自我强化的先分清一件事模型停不等于任务完。模型在一轮里能干得很好拆解、调工具、看结果、改代码、跑测试最后给个结论。但那只是这一轮结束。长任务是一大串轮轮与轮之间总得有人判断到底做完没有——指望模型自觉每次都会踩坑写了一段有头有尾的分析 → 清单一项没推进跑了部分测试通过 → 看见部分通过就收尾上下文快满了 → 先停下别让自己卡住于是我在每轮末尾放了个判定器LLM judge来判断要不要继续。这一步是对的。真正的问题藏在更后面记忆压缩。长任务跑久了上下文装不下框架就把早期历史压成一段 summary 腾地方。目标陈述是压不掉的——它住在 system prompt 里而压缩只改写历史消息、从不碰 system prompt。但任务清单的真实进度不在那段 summary 里它跟着历史一起被压没了。于是压缩之后模型下一轮的输入长这样system prompt目标 任务清单但清单里的状态是过期的快照拍在 turn 开始时被压出来的 summary模型自己写的我之前做了 ABCD差不多该收尾了如果模型的自我感觉刚好漂了一点它经常漂——上下文越长、自我合理化越多summary 里就会写我干得差不多了。下一轮输入 过期清单 差不多自述。漂移自我强化多来几轮模型就宣布长任务已完成——实际还差一大截。这张图里最扎心的是红色根因框真实进度从不回流给模型模型只看得到它自己的自述。判定器也救不了场。它同样是 LLM能看到的只有本轮输出 历史各轮的一句话摘要 清单快照 用户消息原文看不见工具调用轨迹、看不见中间产物所以它也会被差不多带跑。解法一个压缩冲不掉的账本方向其实只有一个别让模型记进度让系统记。我加了一个目标账本由运行时持有、独立落盘——压缩发生在对话上下文里够不着它。模型上下文里永远只有账本的渲染快照而这些快照是审计后的真实进度不是模型自己的回忆。账本分两块骨架目标陈述、验收标准、清单条目——低频变化只在建账或换目标时重写状态每项的 done / pending / blocked、证据、熔断计数——判定器审出变化才落一笔没推进时账本原样不动。账本还有一样模型没有的东西显式终态。active跑着/ satisfied完成/ abandoned放弃——收工从此是有落盘的状态流转不是模型嘴上说停就停。有人会较真目标写在 system prompt 里不还是在上下文里吗这里得把刷新方式说清楚——账本靠三条通道保持最新其中给模型回流的是两条turn 开始时、同 turn 续接时。而且system prompt 同一个 turn 内从不原地改——跨 turn 它会随 agent 重建、用最新账本重拼账本段拼在 system prompt 末尾改动只落在尾部一小段不影响前面大段 prompt 的缓存命中turn 开始时agent 重建最新账本渲染进 system prompt。放这里是因为 system 是压缩够不着的高保留位——目标是整个上下文里最不能被压掉的东西。同一 turn 自动续接时agent 实例保活系统往对话历史里追加一条 user 消息把判定后的最新账本拼进去即任务进度。模型下一轮看到的是审计后的事实不是我以为的事实——这是整套机制里最关键的一次回流。压缩发生时压缩器也会被实时喂一份最新账本防止它把还没干完的事项压成已完成。这条回流加上之后效果立竿见影模型哪怕被压缩过、哪怕自述漂了新一轮 prompt 里也带着真实的 done / pending / blocked 清单。漂不漂模型说了不算账本说了算。落到系统里是四件小事整套方案拆成四件相互独立、可单独合入的改动现在已经全部上线账本回流核心续接消息带上判定后的真清单破掉根因显式终态satisfied / abandoned 真正流转卡住算卡住、完成算完成前端不再永远转圈前端可见每轮判定发一条事件目标、清单进度、完成度实时渲染出来——长任务不再是黑盒审计兜底judge 判完成但清单里还有 pending、本轮又啥也没干时打一条告警。只告警、不强制——判定优先交给 LLM机械规则只负责挡掉矛盾。这四件里我还留了个分寸每轮判定 ≠ 每轮写账本。判定器每轮都在看但只有真审出变化才落盘——账本不是流水账它是被审计过的事实。其实把完成判断从 prompt 里的一句话变成 runtime 原生的能力是这类系统里公认最难的一层。有人把这套拆成 Spec / ReAct / 外层循环 / Goal 四层原文我做的就是往 Goal 那一层靠。几句不中听的实话凡是让模型自觉的事迟早会变成模型自作主张的事。真实状态该由系统持有、必要时回流给模型而不是让模型自己记。记忆压缩是必要但危险的机制它解决 token 爆炸代价是把长期事实从上下文里挤掉。被挤掉的东西必须有个 runtime 替身否则就丢了。没有任何一套机制能 100% 防住模型自欺。我做的不是防住是压回去——让偏移在每一轮都被审计纠正一次不让它积小成大。总结如何保持长任务的目标偏移问题每轮turn开始时将goal账本注入system提示词每轮turn如果任务没完成会自动续接而每次续接会将goal账本的任务进度填入当前turn的用户提示词而对于跨turn的场景goal账本会被构建并重新注入系统提示词如果上一次turn没完成那么goal账本就不会发生变化重新注入系统提示词的仍然是之前的goal账本构建合适的SOP任务流程即写好提示词尤其是首次对话的提示词以下是效果展示目前已经稳定跑了超过12个小时了看了今天的两个周期的token额度消耗大概是2-3亿token通常有延时缓存命中98%然后做了10道CTF题其中跳过了超过十多道题有些题尝试过久做不出来就会跳过最快解决的一道题耗时1分钟不到最慢解决的一道题花费了超过40分钟也有可能有错误尝试另外关于网络不稳定的情况也会一定程度地影响做题消耗的时间