no-mistakes e2e测试体系：recorded fixtures与fakeagent命令

no-mistakes e2e测试体系recorded fixtures与fakeagent命令【免费下载链接】no-mistakesgit push no-mistakes项目地址: https://gitcode.com/GitHub_Trending/no/no-mistakesno-mistakes 是一个git push 即质检的守护流水线工具把分支推送到名为no-mistakes的远端后守护进程会自动驱动 rebase、lint、test、review、CI 等步骤并调用 Claude、Codex、Grok、OpenCode、Antigravity 等 AI 代理完成代码审查与修复。为了让这套流水线本身可以被可靠地验证项目内置了一套 e2e端到端测试体系——用 fakeagent 命令 模拟真实 AI 代理用 recordfixture 录制的recorded fixtures录制固件回放真实协议报文让测试既离线、确定又能真实校验线格式。一、e2e 测试体系解决什么问题如果只用单元测试来验证流水线编排信号其实很弱真正的风险藏在真实 git 仓库 真实守护进程 真实代理 CLI 交互这条完整路径里。no-mistakes 的 e2e 测试直接运行编译出来的真实二进制对临时 git 仓库执行一次完整的用户推送分支 → 流水线跑完旅程见 internal/e2e/doc.go。但直接跑测试会撞上两堵墙要烧真金白银的 API 配额——每次调用 Claude/Codex 都是真实请求结果不确定——AI 的回复每次都不一样断言无法稳定通过。项目的答案是录制 回放开发时用recordfixture命令手工录制一次真实代理的输出测试时用fakeagent命令回放录制好的 recorded fixtures并记录每一次调用供断言。二、fakeagent 命令一个二进制冒充所有 AI 代理fakeagent 是真实 Claude、Codex、Grok、OpenCode、Antigravity CLI 的确定性替身cmd/fakeagent/main.go。它的巧妙之处在于一个二进制多副身份e2e 的测试脚手架 harness.go 把同一个 fakeagent 可执行文件软链接成claude、codex、grok、opencode、antigravity外加探测名agy等多个名字并置于 PATH 最前。fakeagent 启动时读取argv[0]的文件名决定自己是谁、该说哪种线协议。顺手堵住真实远端gh和tea也被链接成 fakeagent 的桩stub。e2e 中任何走错路的 GitHub/Gitea 调用都只会打到桩上——gh auth status直接报未认证失败即安全绝不可能意外创建真实 PR。全程留痕每一次调用都会以 JSONL 追加写入$FAKEAGENT_LOG时间、代理、参数、完整 prompt测试可以精确断言流水线到底给代理发了哪些提示词。用 Scenario YAML 驱动假代理行为fakeagent 的行为由$FAKEAGENT_SCENARIO指向的 YAML 文件决定scenario.go。每条规则是prompt 子串匹配 → 预置回复并且可以在回复前真正修改工作区文件——这就是修复轮能实际改动文件的方式actions: - match: review the diff text: found a bug structured: findings: [{message: nil dereference}] risk_level: high - match: # 兜底规则全部干净 text: no issues found不设置 Scenario 时fakeagent 返回内置的一切干净回复满足 no-mistakes 要求的所有 JSON Schema空 findings、低风险等级等。三、recordfixture 命令录制真实响应recorded fixtures 不是手写出来的而是真枪实弹录下来的。cmd/recordfixture 是一条手工操作、不进 CI 的录制命令注释里写得直白每次录制都会烧掉真实 API 配额go run ./cmd/recordfixture claude --out internal/e2e/fixtures/claude go run ./cmd/recordfixture codex --out internal/e2e/fixtures/codex go run ./cmd/recordfixture opencode --out internal/e2e/fixtures/opencode录制器自己不持有任何 Schema 知识——它只是调用真实 CLI把线协议输出原样落盘每个代理录制结构化输出和纯文本两种风味以 claude 为例见 claude.go。录完后还有一个关键收尾动作脱敏scrub.go——把录制者本机的 home 目录、临时目录、会话 UUID 等隐私信息替换成占位符保证可以安全地提交到公共仓库。最终的 fixtures 目录结构一目了然internal/e2e/fixtures代理固件文件claude / codex / antigravitystructured.jsonl、plain.jsonlopencodestructured/、plain/下的sse.txtsession.jsonmessage.json例如可以翻看 claude/structured.jsonl 里真实录制下来的流式 JSON 报文。四、回放机制让 e2e 成为真正的线格式回归检测回放逻辑在 fixture.go当FAKEAGENT_FIXTURE指向固件根目录时fakeagent 优先从代理/风味/下读取录制文件逐条回放真实的线协议报文仅在 Scenario 需要时修补个别响应字段读不到才回退到合成响应。测试脚手架在 NewHarness 中默认就设置好了FAKEAGENT_FIXTURE源码注释点明了这个设计的价值This is what makes the e2e a real wire-format check.这才是 e2e 成为真正线格式检查的关键它的意义在于如果上游代理的线格式发生了漂移重新录制一次就能产出新固件fakeagent 的回放自动跟上——不需要手工维护任何格式模拟器。测试既稳定离线、确定又不失真报文来自真实 CLI。五、如何运行 e2e 测试e2e 测试全部藏在e2e构建标签后面日常go test ./...不会跑到它们只能通过专用入口触发scripts/e2e.shmake e2e # 等价于 scripts/e2e.sh # 即 go test -tagse2e -count1 -timeout 480s ./internal/e2e/... ./internal/pipeline/steps/...每个测试用例由一套独立的 Harness 装配临时文件系统裸 origin 仓库 工作克隆、独立$NM_HOME、代理软链接目录、调用日志文件。更贴心的是守护进程也有临时所有权机制internal/e2edaemon每个用例申领一个并发槽位并把 daemon PID 登记进清单e2e.sh在退出时兜底清扫残留守护进程——即使测试进程被 SIGKILL下次跑套件时也会自动回收遗留 daemon不会污染你本机的真实服务。六、关键文件速查角色路径e2e 体系总说明internal/e2e/doc.go测试脚手架Harnessinternal/e2e/harness.gofakeagent 主入口cmd/fakeagent/main.goScenario 行为配置cmd/fakeagent/scenario.go固件回放逻辑cmd/fakeagent/fixture.go录制命令cmd/recordfixture/main.go录制脱敏cmd/recordfixture/scrub.go录制固件样本internal/e2e/fixtures/e2e 套件入口scripts/e2e.sh总结no-mistakes 的 e2e 测试体系用录制与回放优雅地解决了 AI 流水线测试的两大难题recordfixture在开发机上真实烧一次配额把各代理的线协议报文录成 recorded fixtures 并脱敏入库fakeagent则以一个二进制多链接的方式冒充所有 AI 代理乃至gh/teaCLI离线、确定、且全程留痕地回放这些报文。配合 Harness 的临时仓库与守护进程清单回收make e2e一条命令就能在干净环境里复现用户推送 → 流水线全程跑完的真实旅程——这对任何需要与真实 AI CLI 打交道的开源项目都是一套值得借鉴的确定性测试范本。【免费下载链接】no-mistakesgit push no-mistakes项目地址: https://gitcode.com/GitHub_Trending/no/no-mistakes创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考