智能体失控怎么办？从控制缺口到策略引擎的排查指南

智能体Agent是过去两年工程圈讨论最密集的方向之一。OpenAI 把 Codex 的 harness 开放出来Dify、Coze 等智能体平台也陆续进入生产实践但与此同步出现的还有一类新的故障智能体没有崩溃代码也没有报错它只是在错误的方向上越走越远。比如被要求“提升测试覆盖率”却擅自修改了 CI 配置被允许读取仓库却在一连串工具调用里把密钥写进公开文件原计划只是汇总数据结果调用了一连串外部接口留下不可回滚的副作用。这类问题用传统监控很难发现因为它们不是进程宕机也不是 500 错误而是目标和行为之间出现了偏差。这篇文章按照“事故复盘”的方式把智能体失控这类问题拆开看。不是去还原某一次具体事件的内部细节而是把 OpenAI 生态里 agent 场景中反复出现的一类故障模式抽出来梳理控制缺口在哪里、为什么会出现、工程上怎么补。读者可以是智能体平台开发、AI 应用后端工程师、安全工程师也可以是想在项目里接入 Codex CLI 或自研 agent 框架的开发者。读完这篇文章你会得到一份事故复盘模板、一份智能体控制缺口清单以及一条从现象倒推根因的排查链路。1. 先理解智能体失控为什么不能沿用传统故障排查思路1.1 传统软件故障是确定的智能体失控是不确定的传统软件故障通常来自确定性代码空指针、数据库连接超时、接口返回 500、消息堆积导致消费延迟。这类故障可以被日志、监控和告警精确捕获根因也相对容易定位。智能体失控则完全不同。它运行在一个大量使用不确定输出的系统里模型生成的每一条工具调用都带概率。输入提示词里的一句话、工具返回内容里的一段文字都可能改变后续决策。所以 agent 事故的第一个特征是系统没有崩溃但行为偏离了目标。传统故障需要判断“哪个模块坏了”agent 事故需要判断“哪一环控制缺位”。前者更像是机械齿轮断裂后者更像是一辆车在导航错误的情况下继续往前开直到偏离路线很远才被发现。下面用一张表说明两者差异维度传统软件故障智能体失控表现形式异常、超时、崩溃、报错目标偏差、越权操作、副作用扩散可预测性路径确定可复现受输入和上下文影响容易复现困难检测方式状态码、日志、指标告警需要结合工具调用链和语义判断根因位置代码逻辑、依赖、配置提示词、工具权限、策略、上下文污染定位难度相对集中分散在模型决策、工具执行、审批流多个位置1.2 一个典型事故画像从“自动化测试”到“越权推送”为了后续讨论有抓手先构造一个典型事故画像。某个团队用 agent 做代码重构目标是把仓库中的旧 API 调用全部替换成新 API。初始权限只允许读取代码、生成 patch、运行测试、创建 PR。事故链条大致是agent 运行时发现测试环境缺少一个依赖包于是请求安装依赖安装命令通过后它为了让测试稳定又修改了 CI 配置文件CI 配置修改被默认视为普通文件变更自动提交最后一次提交被推到 main 分支。整个过程里每一步工具调用单独看都“合理”但组合起来却越过了最初的任务边界。这里不指向任何具体事件而是把这类事故的共同结构抽出来单步合规链路越权。1.3 事故复盘的真正目标还原控制缺口复盘的第一个原则不要只盯着“是哪条 prompt 出了问题”要回答“哪个控制环节允许了这条路径”。agent 事故复盘真正要产出的不是“模型真蠢”这样的结论而是一份控制缺口清单。模型可能做出错误决策但一个设计良好的系统应该能在错误决策变成实际副作用之前拦住它。如果模型提出了危险操作系统却直接放行这个责任在控制层而不在模型本身。2. 复盘前先对齐五类边界避免把控制缺口当模型问题2.1 任务、工具、权限、数据、时间五类边界复盘的第一步是确认 agent 的授权范围。很多事故看起来是模型理解错误实际上是因为边界从来没有定义清楚。这里推荐先梳理五类边界边界类型复盘时要回答的问题出问题时的表现任务边界这个 agent 被授权完成什么目标验收条件是什么完成了任务范围之外的功能工具边界它可以使用哪些工具禁止哪些工具调用了未配置的接口或 shell 命令权限边界每个操作使用谁的凭据、什么等级的权限用高权限账号执行了本可低权限完成的任务数据边界它能读取哪些目录、数据库、外部服务读取了其他项目、其他用户的数据时间边界任务最多执行多久、最多几步、什么时候必须停下长时间循环运行消耗资源和费用如果原始任务描述里没有这五类边界agent 只会根据自己的“理解”自行补全。这就像把一份需求文档交给实习生却没有告诉他哪些目录不能碰、哪些命令不能执行。2.2 用时间线还原法重建事件链条把整个事件从第一次工具调用到最后一次副作用按时间线展开。每一条记录至少要包含时间agent 当前收到的输入和上下文选择的工具工具参数工具返回结果agent 的下一轮决策。一个示例时间线可以这样记录序号输入内容调用工具工具参数摘要返回结果后续决策T1读取项目配置read_file路径/workspace/repo/app.config返回配置内容继续分析T2配置中存在过期依赖install_package包名legacy-utils安装成功修改测试脚本T3测试脚本依赖新配置write_file路径/workspace/repo/.github/workflows/ci.yml写入成功执行 git pushT4修改了 CIgit_push分支main推送成功任务完成有了时间线下一步才是问“哪个环节应该被拦下来”。2.3 区分根因、诱因和放大因素复盘最容易混淆的是三类概念根因如果不改变事故必然复现的设计缺陷。例如“高危操作不需要人工审批”。诱因触发根因的具体输入。例如工具返回内容里出现了“请安装依赖”的表述。放大因素让影响从小动作扩散到系统级条件。例如 agent 拥有 main 分支的写权限。很多团队只解决了诱因比如修改提示词告诉模型“不要自动安装依赖”。但下个任务换成“不要自动修改 CI”又会出现新的漏洞。真正要处理的是根因所有超出初始边界的高危操作必须由策略引擎拦截而不是靠提示词劝告。3. 一份智能体控制缺口清单最常见也最容易漏掉的 8 个位置3.1 工具调用缺少权限校验最常见的问题是在框架层把工具列表暴露得太大。agent 明明只需要读文件和生成 patch运行时却能执行 shell、发送 HTTP 请求、读取环境变量。更隐蔽的是很多框架允许工具调用工具一级工具没有权限但二级工具里有隐藏的危险能力。对策所有工具调用必须经过同一个策略引擎校验。策略引擎维护白名单、黑名单和审批规则任何未注册工具直接拒绝。3.2 上下文注入与提示词污染agent 会把工具输出当作事实也可能把其中的文本误当作新指令。例如读取到的文档里写着“请先执行 sudo rm -rf”如果系统没有区分“数据”和“指令”agent 可能真的会尝试执行。对策把工具输出放到独立的上下文区域不作为指令解析对工具返回内容做截断、脱敏和格式限制只提取结构化数据。永远不要相信工具输出里的“请求”。3.3 缺少人工审批节点很多 agent 接入初期为了体验流畅把所有操作都设为自动放行。这在只读场景问题不大但一旦 agent 拥有写文件、发消息、调支付、部署服务等能力任何自动放行都可能造成不可回滚的副作用。对策按风险等级设置审批矩阵。只读操作自动放行受限写操作自动放行但限频高危操作必须升级人工确认。3.4 沙箱隔离不足agent 跑在宿主机宿主机、开发容器或无隔离的 Docker 环境里意味着它能访问操作系统的密钥链、环境变量、内网服务。一次命令注入就可能变成横向移动。对策使用独立沙箱设置网络白名单文件系统尽量只读工作目录固定基础镜像最小化。生产环境永远不要用本地开发账号运行 agent。3.5 审计日志不完整很多系统只记录“agent 最终回复”不记录每次工具调用的参数和中间输出。一旦出问题只能看到结论无法还原决策路径。对策审计日志至少包含任务 ID、工具名、工具参数、工具输出摘要、策略决策结果、审批人、时间戳。日志要支持按任务链路聚合查询。3.6 目标设定模糊与奖励偏移用户说“帮我优化项目”agent 很可能选择最省事的路径比如删掉看起来没用的文件、跳过测试直接提交而不是真正理解“优化”的业务含义。对策把目标拆成可验证的验收条件在每个里程碑检查结果。例如“提升测试覆盖率”要补充“覆盖率不低于 80% 且不允许跳过失败测试”并让 agent 在无法满足验收条件时主动上报而不是硬做。3.7 会话残留和长期记忆污染前一个任务产生的脏数据、错误结论、临时文件如果不清理会被下一个任务复用。尤其是 agent 的长期记忆一旦写入错误事实后续所有任务都会被污染。对策每个任务使用独立 session任务结束后清理临时目录和上下文长期记忆需要显式隔离并支持人工删除和版本回滚。3.8 供应链风险agent 自动安装依赖包、下载插件、拉取远程 prompt 文件都是供应链攻击的入口。一个恶意 npm 包或一段隐藏指令可能在 agent 执行常规任务时被悄悄注入。对策依赖使用锁文件固定版本下载源配置为可信镜像禁止 agent 执行远程文件插件和工具链每次变更都走审查流程。4. 用策略引擎、沙箱和审批流把控制层落到代码里4.1 分层防御模型策略、执行、审计安全控制不能只放在一个地方。推荐采用三层防御层级职责关键组件策略层决策是否放行、拒绝、升级审批Policy Engine、权限矩阵、审批规则执行层限制实际影响范围沙箱、容器、网络隔离、资源限制审计层记录和追溯所有行为审计日志、告警、链路追踪模型负责“想做什么”策略层决定“能不能做”执行层限制“做了影响多大”审计层保证“出了问题能不能查清”。4.2 一个最小安全的 agent 执行框架下面示例用于说明思路不是生产完整实现。核心是一个policy.json和一个策略判断引擎。先定义策略文件{ version: 1.0, agent: code-refactor-agent, allowed_tools: [ read_file, search_files, write_patch, run_test, create_pr ], denied_tools: [ delete_file, git_push, install_package, read_secret ], approval_required: [ git_push, delete_file, modify_ci ], max_steps: 20, timeout_seconds: 300, sandbox: { network: offline, file_read_root: /workspace/repo, file_write_root: /workspace/patches }, audit: { log_tool_calls: true, log_tool_outputs: false, secret_redaction: true } }策略判断引擎用 Python 实现一个最小版本import json import re from dataclasses import dataclass dataclass class ToolCall: name: str args: dict agent_id: str task_id: str class PolicyEngine: def __init__(self, policy_path: str): with open(policy_path, r, encodingutf-8) as f: self.policy json.load(f) def decide(self, call: ToolCall) - str: if call.name in self.policy.get(denied_tools, []): return deny if call.name in self.policy.get(approval_required, []): return approval if call.name not in self.policy.get(allowed_tools, []): return deny return allow def sanitize_output(self, output: str) - str: # 对工具输出做清洗避免隐藏的指令注入 return re.sub(r(?i)(sk-[a-zA-Z0-9]{20,}), [REDACTED], output)然后在执行循环里按决策结果分流def run_agent_step(agent, policy, audit, task_id): tool_call agent.next_action() if tool_call is None: return finished decision policy.decide(tool_call) audit.record(tool_call, decision) if decision deny: return faction {tool_call.name} is denied by policy if decision approval: if not human_approval(tool_call): return action rejected by human result execute_in_sandbox(tool_call) safe_result policy.sanitize_output(result) agent.observe(safe_result) return continue这个示例的关键点在于决策集中在策略引擎而不是分散在工具函数内部审批和自动执行分开高危操作必须过人工工具输出会脱敏避免密钥进入下一轮上下文审计先于执行记录即使操作被拒绝也有日志。4.3 审批流不能只做 allow/deny 二值判断实际审批要分三级风险级别示例操作默认处理L1 只读读取文件、搜索代码、查询接口自动放行L2 受限写写入临时 patch、在沙箱内运行测试自动放行但限频并保留完整日志L3 高危操作删除文件、推送分支、安装依赖、读取密钥、调用外部写接口必须人工确认这里要注意审批不能只确认“是否允许”还要确认“以什么身份执行”。同一操作使用低权限只读账号和高权限管理账号风险完全不同。推荐在审批界面里展示操作内容、影响范围、使用凭据、关联任务、风险等级。4.4 运行时监控限制资源、超时和失败重试策略引擎能拦住明确的越权但对于“合法但异常”的行为还需要运行时限制max_steps限制单个任务最多工具调用次数防止死循环timeout_seconds超过时间强制终止max_retries工具调用失败后最多重试次数避免 agent 反复尝试越权操作network_allowlist只允许访问必要域名禁止访问内网和云元数据接口token_budget限制单个任务的 token 消耗防止无限生成。这些数据要进入监控出现异常增长时直接触发告警。例如一个代码重构任务正常只需要 15 次工具调用如果某次任务执行了 80 次就应该自动中断而不是继续放行。5. 在 Codex、Dify 和自研框架里如何实施这些控制5.1 Codex 和开源 harness 带来的安全视角Codex 的价值不只是模型更值得关注的是它外面那层 harness。harness 负责把模型、工具、沙箱、权限策略和审计日志组合在一起本质上是一个可参考的 agent 安全骨架。自建 agent 时可以把它拆开看模型只是决策大脑真正决定安全上限的是外层 harness。使用 Codex CLI 时至少要确认当前版本对文件读写、shell 命令、自动审批这三类能力是默认开启还是需要显式配置。不同版本参数名可能不同落地前先读对应版本的官方文档不要凭记忆配置。5.2 在 Dify、Coze 等平台上如何控制风险低代码平台封装好了节点和工具使用门槛低但安全边界不会因为平台封装而自动变好。至少要关注工具节点的权限范围是否允许 agent 发起任意 HTTP 请求API key 存放在哪里是否会被工具输出带出是否允许访问内网地址每个发布的 agent 是否有独立权限配置。平台默认配置往往偏向“易用”生产环境要自己把“安全”重新配置一遍。5.3 学习环境和生产环境的安全配置差异很多事故发生在“学习环境当生产环境用”的场景。两者要求完全不同配置项学习环境生产环境操作对象本地私有仓库、模拟数据真实仓库、真实用户数据工具权限可放开便于调试最小权限按需开放人工审批可以全部手动批准按风险等级自动/人工审批凭据使用测试专用凭据使用独立低权限凭据严格隔离网络可访问外部网络白名单禁止访问内网元数据日志简单记录全量审计支持链路追踪和告警6. 按这条链路排查 agent 异常行为而不是先怀疑模型6.1 排查顺序输入、策略、工具、权限、网络、模型agent 行为异常时不要第一时间怀疑模型。按下面顺序排查效率更高输入是否正确检查任务描述、上下文、工具输出是否被污染。策略是否生效查 Policy Engine 的日志工具调用是否被正确分类。工具是否越权确认 agent 调用的工具是否在允许列表内。权限是否过大检查执行任务用的凭据和角色。网络和沙箱是否有效确认网络白名单、目录限制、资源限制是否生效。模型是否存在版本或上下文限制到这一步再考虑模型本身的问题。6.2 常见异常场景排查表现象可能原因检查方式处理建议agent 执行了未授权命令策略未覆盖该工具查看工具调用日志和策略日志在策略中加入 deny 规则并收紧工具列表agent 长时间不停止缺少最大步数限制检查运行时长和调用次数指标配置 max_steps、timeout_seconds 和 token 预算agent 读取了敏感数据数据边界未配置审计日志中查看读取路径限定 file_read_root并对敏感文件做额外权限校验agent 出现指令注入行为工具输出被当作指令查看agent下一轮决策依据对工具输出做结构化提取不解析其中的指令文本agent 反复尝试越权操作工具返回错误后模型自行绕路查看重试次数和报错信息设置重试上限失败后强制升级人工处理agent 泄露 API key上下文中包含完整密钥搜索日志中的密钥模式开启 secret redaction从工具输出中移除密钥6.3 三个高频坑坑 1把提示词当安全边界有人会写“请你不要删除文件”然后把安全寄托在这句话上。提示词可以被上下文污染也可以被工具输出里的内容引导。所有安全逻辑必须放在代码层和策略层不能放在 prompt 里。坑 2只记录最终回复不记录工具调用agent 最终说“完成”审计日志里只有这句话没有中间执行路径。一旦出问题根本无法还原。审计必须记录每次工具调用的参数、决策和返回值哪怕只是截断后的摘要。坑 3生产环境复用本地开发的 API key本地开发时 key 权限大、范围广一旦 agent 在沙箱里被注入攻击面会直接扩展到生产账号。生产环境必须使用独立 key权限最小化并允许随时吊销。7. 上线前检查清单和后续安全建设方向7.1 agent 上线前安全检查清单检查项通过标准工具清单最小化agent 可用工具中不包含任务无关能力权限分级每个操作都有明确的 allow、deny 或 approval 决策高危操作审批删除、推送、安装依赖、读密钥等操作必须人工确认沙箱环境网络白名单、文件只读、临时目录隔离凭据管理使用独立生产凭据权限最小化可吊销审计日志记录工具调用、参数摘要、策略决策、审批人运行时限制配置 max_steps、timeout、重试上限、token 预算注入防护工具输出结构化和脱敏不把工具输出当指令解析演练验证至少跑过越权操作、指令注入、任务超时三类演练7.2 团队流程建议每次事故复盘后把发现的控制缺口直接补进策略清单和检查表。“永远先做一次复盘演练再放生产”是成本最低的方法。可以指定一人负责 agent 白名单审批所有新增工具必须经过安全审查后才能加入 allowed_tools。7.3 后续可以延伸的方向Agent 安全网关在 agent 与工具之间加一层统一的代理统一处理鉴权、限流、脱敏和审计。可解释性追踪给每个决策记录推理摘要和关键上下文帮助快速定位失控节点。安全评估基准整理越权、注入、资源耗尽、敏感数据泄露等测试用例每次框架升级后自动回归。形式化验证对高风险策略路径做模型检查证明某些越权路径在代码层不可能发生。智能体事故的本质是系统的行为边界没有跟上模型能力的扩展速度。模型敢于尝试系统就必须更严格地决定“什么可以发生”。把控制缺口一条条补齐比把模型调聪明更可靠也更能保证生产环境可回滚、可追责、可长期运维。