从 RAG 到 Agent学习笔记

大模型LLM的能力正在逐渐趋同真正的技术壁垒正在向 Harness Engineering驾驭工程转移。本文将结合近期技术探讨系统梳理大模型应用开发中的核心工程化技术涵盖 RAG 结构化输出、约束解码原理、工具调用范式、Agent 编排框架以及沙箱环境构建。一、 RAG 结构化输出的“三道防线”在 RAG检索增强生成流程中将大模型从不可控的“文本生成器”改造为稳定的“结构化数据提取器”需要建立严密的质检与交付体系提示工程软引导在 Prompt 组装阶段通过角色设定、格式定义和 Few-Shot 示例在语义层面与模型达成“契约”诱导其输出目标格式。格式约束硬控制在模型推理Inference过程中实施硬性拦截。通过 RAG 框架调用底层推理引擎将 JSON Schema 注入在模型生成每一个 Token 时进行 Logits Masking概率屏蔽将不符合语法的 Token 概率强制设为负无穷从数学上剥夺模型犯错的可能性。后处理兜底修复在拿到模型返回值后执行闭环校验。包括自动解析捕获、自我修正循环将错误信息重新封装 Prompt 让模型修正以及业务逻辑校验确保最终数据逻辑有效。二、 约束解码的底层原理有限状态机与 Logits Masking在不修改大模型的前提下控制其输出的每一个 Token核心在于约束解码。其底层原理是将 JSON Schema 编译成有限状态机FSM在模型每生成一个 Token 时用状态机判断哪些 Token 语法合法把不合法的 Token 概率强制归零。1. 有限状态机FSMFSM 是一种描述系统行为的数学模型由有限个状态、状态之间的转移规则和输入事件组成。在结构化输出中FSM 用于实时校验每一步输出的合法性例如初始状态允许输出{若已输出key则下一状态只允许:。2. Logits Masking 机制大模型生成文本是自回归的。约束解码在模型计算出所有 Token 的 logit 分数后、Softmax 归一化之前插入一个“语法警察”合法 Token 的 mask 值为 0保留原始 logit非法 Token 的 mask 值为 -∞经过 Softmax 后概率变为 0。模型全程以为自己在自由生成但推理引擎只从中挑选合法的 Token实现了“不碰大脑只控制嘴巴”的物理隔离。三、 工具调用范式MCP 与 CLI 的抉择在 AI Agent 调用外部工具时MCP 与 CLI 代表了两条不同的技术路线两者并不互斥而是互补MCP标准化协议路线被称为“AI 的 USB-C 接口”本质是标准化的 Client-Server 协议。适用于跨系统、跨模型、企业级集成提供安全可控的鉴权与沙箱隔离但需要额外开发和维护 MCP Server。CLI环境控制路线模型直接生成并执行系统命令行指令。具有零开发成本、极其轻量、组合性强的优势适用于单机任务、脚本执行和快速原型但安全风险较高且缺乏标准化。当前业界的最佳实践是两者融合MCP 负责提供标准化的工具发现与调用框架而 CLI 负责在 MCP Server 内部执行具体的系统级操作。四、 Agent 编排LangChain 与 LangGraph 的定位在智能体编排中LangChain 与 LangGraph 承担着不同的工程角色LangChain作为 Agent Framework框架能实现基础的流程编排。通过 Chains 和 Agents 将多个步骤组合成工作流支持线性流水线、条件分支等标准化业务流程。LangGraph作为 Agent Runtime运行时专为复杂、有状态、多智能体协作的场景设计。提供基于有向图的编排能力支持 Supervisor 模式、Fan-out 扇出模式、Human-in-the-Loop人工审批以及 Checkpointing断点恢复与状态回溯。简而言之LangChain 是“零件”LangGraph 是“组装工厂”。构建复杂、可中断、可恢复的生产级智能体系统LangGraph 是更合适的选择。五、 智能体沙箱操控页面与软件部署在智能体沙箱中操控页面完成软件部署是通过“隔离沙箱容器 无头浏览器CDP协议 大模型 ReAct 决策循环”三者协同完成的沙箱层通过 Docker 容器或云沙箱提供完全隔离的执行环境确保智能体的操作不影响外部系统。浏览器层沙箱内启动无头浏览器通过 CDPChrome DevTools Protocol建立 WebSocket 连接赋予智能体“看”获取 DOM/截图和“做”点击/输入/执行 JS的能力。决策层大模型通过 ReAct 框架不断执行“感知→思考→行动→反馈”循环。为节省 Token通常对页面 DOM 进行精简表示仅提取可交互元素。若操作失败智能体还能进行自动重试、重新规划甚至现场编写新函数进行自我修复。大模型应用开发正在从“拼模型能力”走向“拼工程架构”。无论是通过约束解码实现 100% 格式正确的结构化输出还是通过 MCP/CLI 融合打通工具链亦或是利用 LangGraph 和沙箱构建复杂任务的执行环境其核心思想都是把不可控的大模型装进可控的工程框架里。掌握这套 Harness Engineering 体系是构建生产级 AI 应用的必经之路。