LLM、Embedding、RAG、Agent、Function Calling、幻觉 完整详解

目录一、LLM 大语言模型Large Language Model1. 定义2. 核心原理3. 局限后续技术全部用来弥补 LLM 缺陷4. 常见代表二、Embedding 向量嵌入模型1. 定义2. 核心逻辑3. 工作流程4. 和 LLM 的区别5. 核心用途三、RAG 检索增强生成Retrieval-Augmented Generation1. 诞生目的2. 完整标准流程五步3. 优势4. 短板极简对比原生 LLM vs RAG四、Function Calling / 工具调用1. 定义2. 核心能力3. 完整执行链路示例流程4. 价值五、Agent 智能体1. 定义2. Agent 四大核心组件3. 经典运行逻辑ReAct 框架最通用举个复杂任务例子4. Agent vs RAG vs Function Calling六、Hallucination 模型幻觉1. 定义2. 幻觉两大分类3. 幻觉产生的核心原因4. 主流抑制幻觉方案对应前面所有技术5. 幻觉负面影响整体技术链路串联完整业务流程一、LLM 大语言模型Large Language Model1. 定义基于Transformer 架构以海量文本数据预训练得到的巨型神经网络核心能力是理解、生成人类自然语言能完成翻译、写作、推理、问答、总结等通用语言任务。2. 核心原理基础单元Transformer自注意力机制 Self-Attention能捕捉文本长距离语义关联训练分为两阶段 1预训练全网海量无标注文本学习通用语法、常识、知识 2微调SFT/RLHF人工标注对话数据对齐人类偏好学会听懂指令、输出合规回答。3. 局限后续技术全部用来弥补 LLM 缺陷知识截止训练数据有时间窗口无法获取实时、私有数据上下文窗口有限一次性读不完海量文档幻觉会编造不存在的事实不会使用外部工具不能查数据库、计算器、联网搜索复杂长任务自主规划能力弱。4. 常见代表GPT 系列、Claude、通义千问、文心一言、Llama、Qwen、GLM 等。二、Embedding 向量嵌入模型1. 定义把文字句子 / 段落 / 词语转化为固定长度的数字向量的轻量模型向量称为 Embedding 向量核心作用量化语义相似度。2. 核心逻辑语义相近的文本向量在高维空间距离更近语义无关文本距离很远。 例“苹果手机”、“iPhone” 向量距离极小“苹果手机”、“苹果树” 向量距离很大。3. 工作流程输入文本 → Embedding 模型编码 → 输出一维浮点数组如 1536 维、768 维使用向量数据库Chroma、FAISS、Milvus、Pinecone存储向量查询时把问题转向量在库中做相似度检索召回语义匹配的原文片段。4. 和 LLM 的区别EmbeddingLLM只做编码不生成文字负责生成完整回答模型小、推理快、成本低参数量巨大推理慢输出数字向量输出自然语言5. 核心用途RAG 知识库检索、文本分类、聚类、内容查重、推荐系统。三、RAG 检索增强生成Retrieval-Augmented Generation1. 诞生目的解决 LLM 两大痛点知识过时、私有数据不可用、幻觉严重。 简单一句话先查资料再让大模型基于查到的资料回答。2. 完整标准流程五步文档预处理PDF/Word/ 网页等私有文档分割成小段Chunk 切片向量化入库每段文本用 Embedding 转向量存入向量数据库用户提问向量化用户问题输入 Embedding生成查询向量相似度检索向量库匹配 Top-K 最相似的文档片段拼接上下文生成把检索到的原文 用户问题一起塞给 LLM限定模型只能依据检索内容作答。3. 优势支持私有知识库企业合同、内部文档、本地资料实时更新知识不用重新微调大模型大幅降低幻觉模型有参考原文约束突破 LLM 上下文长度限制海量文档无需一次性喂给模型。4. 短板检索质量决定回答质量切片不合理、相似度匹配不准会出现 “答非所问”长复杂推理场景单纯 RAG 规划能力不足需要搭配 Agent。极简对比原生 LLM vs RAG原生 LLM仅凭内部训练知识回答容易瞎编RAG先检索外部真实资料再基于资料回答。四、Function Calling / 工具调用1. 定义大模型识别用户需求后自动生成结构化工具调用参数调用外部工具接口拿到工具返回结果后再整理成自然语言回复用户。2. 核心能力LLM 不再只靠自身知识具备调用外部系统的能力计算器、搜索引擎、数据库、API、代码解释器、天气接口、订单查询等。3. 完整执行链路开发者定义工具描述工具名称、功能、入参格式、参数说明传给 LLM用户提问LLM 判断是否需要调用工具如需调用输出 JSON 格式调用指令工具名 参数而非直接回答程序解析 JSON发起工具请求拿到工具返回数据将工具结果再次传入 LLM模型整理结果输出自然语言答案。示例流程用户“今天深圳多少度”LLM 识别需要调用天气工具输出结构化调用{tool:get_weather,city:深圳}后端调用天气 API返回28℃多云LLM 结合数据回复“今日深圳气温 28 摄氏度天气多云。”4. 价值消除实时信息幻觉联网搜索最新新闻处理数值计算、数据库查询等 LLM 不擅长的精准任务是 Agent 智能体的底层基础能力。五、Agent 智能体1. 定义具备自主思考、任务拆解、工具规划、多轮循环执行能力的大模型智能体不止单次问答能自主完成复杂多步骤任务。 简单理解带大脑 工具 循环执行的 LLM。2. Agent 四大核心组件LLM 大脑负责思考、规划、判断下一步动作工具库Function Calling搜索、代码、数据库、RAG 检索器等记忆Memory短期记忆本轮对话上下文长期记忆向量库存储历史任务、用户偏好规划器Planner复杂任务自动拆分成多步骤子任务。3. 经典运行逻辑ReAct 框架最通用思考 (Thought) → 行动 (Action) → 观察 (Observation) 循环Thought分析当前任务判断下一步该做什么Action调用对应工具搜索、RAG 查询、计算等Observation接收工具返回结果循环往复直到任务全部完成再输出最终答案。举个复杂任务例子用户需求“整理 2026 上半年深圳新能源充电桩销量对比去年同期生成分析表格” Agent 自动拆解步骤Thought需要 2025、2026 上半年充电桩数据先联网搜索Action调用搜索工具查销量Observation拿到行业报告数据Thought需要计算同比增长率调用代码解释器Action运行 Python 计算、生成表格Observation得到表格Thought数据齐全无需再调用工具整合输出分析报告。4. Agent vs RAG vs Function CallingFunction Calling单次单工具调用无自主规划RAG专用检索工具只解决知识库问答Agent整合 RAG、Function Calling、记忆、规划自主完成多步骤复杂任务。六、Hallucination 模型幻觉1. 定义大模型输出不存在、错误、虚假、无依据的内容编造事实、文献、数据、人名、案例看起来逻辑通顺但完全不实。2. 幻觉两大分类内在幻觉和输入上下文冲突。 例上下文写 “小明 20 岁”模型回答 “小明今年 30 岁”外在幻觉编造原文不存在的外部信息。 例问某个产品参数模型编造一套不存在的规格数据。3. 幻觉产生的核心原因生成机制本质LLM 是概率预测下一个字只追求语句通顺不自带 “事实校验能力”知识缺失 / 过时训练数据没有相关信息模型只能靠脑补补全上下文过长、信息混杂长文本下模型容易混淆细节参数规模、训练数据缺陷小模型幻觉远高于大模型指令模糊、约束不足没有限制模型 “只能依据给定内容回答”。4. 主流抑制幻觉方案对应前面所有技术RAG 检索增强给模型提供真实参考原文强制模型引用资料作答Function Calling 联网检索实时获取最新真实信息替代模型内部过时知识Agent 校验机制Agent 完成回答后自动调用工具二次核查事实Prompt 约束提示词强制要求 “不确定就说不知道禁止编造信息”后处理校验对输出内容做事实检索、引用溯源微调优化用事实准确的数据微调降低编造倾向。5. 幻觉负面影响企业知识库问答给出虚假条款、论文辅助生成编造参考文献、客服输出错误业务规则直接造成业务损失。整体技术链路串联完整业务流程用户提问 → Embedding 向量检索RAG召回知识库资料 → LLM 判断是否需要工具Function Calling→ Agent 规划多步骤任务循环调用搜索 / 数据库 / 代码工具 → 汇总所有真实资料 → LLM 整合输出回答全程通过外部资料约束大幅减少幻觉。简单层级总结基础单元Embedding文本转向量、LLM语言生成基础工具能力Function Calling调用外部接口知识库增强RAG向量检索 LLM 结合复杂任务智能体Agent整合上面全部能力自主规划执行全链路共同解决幻觉Hallucination问题