面试官挖得特别深每个点都追着问麻了刚结束一场Kimi Agent开发的面试趁着记忆还热乎把被拷问的两个多小时完整复盘下来。面试官是真的狠每个技术点都往死里挖一个问题追着一个问题像剥洋葱一样。好在我跟面试官配合默契每个坑都填上了。嗯整体感觉还算顺利。下面直接上干货。我把所有问题按模块整理成七个部分每个问题都附上我的回答思路和标准答案技术点配上流程图方便理解。一、开场自我介绍重点介绍当前AI Agent项目二、项目一/Agent落地研究型Agent整体架构怎么设计解决什么问题高准确性场景怎么控制幻觉幻觉率和引用错误率多少业务上能否接受Multi-Agent框架自研还是LangChain/LangGraph定制了哪些能力任务调度/状态回退/checkpoint/trace回放长期/中期/短期记忆分别怎么设计记忆滚动更新、摘要压缩、结构化压缩怎么做的Badcase怎么定义review拒绝/用户不采纳/高质量样本分别怎么处理Badcase回流到SFT的完整链路评测体系谁搭的检索评测/生成评测/链路评测/线上评测怎么做的三、项目二/RAG系统知识助手类项目的场景和难点PDF/表格/条款类文档怎么解析和切分检索怎么优化向量检索/关键词检索/rerank/query rewrite怎么配合多轮对话下怎么解决上下文断裂和幻觉这个项目有哪些不足和后面Agent项目比差在哪怎么平衡准确率和效率混合检索/TOPN精排/控制上下文长度/模型路由四、项目三/系统设计大数据量高并发下怎么做成本和效率优化架构怎么设计更合理五、手撕算法两个字符串的最长公共子串六、其他职级预期、换工作原因、意见不合怎么推进七、反问问了业务方向偏AIGC创作总结一、开场1. 自我介绍这个没啥好说的3分钟交代清楚我是谁、做过什么、能做什么、为什么想来。重点突出跟岗位匹配的经验。我直接把当前做的Agent项目放在最前面讲面试官果然顺着就开始深挖了。2. 重点介绍当前AI Agent项目一句话说清楚一个面向投研场景的多研究型Agent系统替代人工完成信息收集、分析、撰写全流程。面试官听到Multi-Agent眼睛就亮了然后开始了长达一小时的连环追问。二、项目一/Agent落地3. 研究型Agent整体架构怎么设计解决什么问题这个项目要解决的问题是投研分析师每天花大量时间翻财报、扒数据、读研报重复劳动多、信息覆盖不全、效率低。我设计的架构是四层结构核心设计思路每个Agent职责单一通过主调度器编排执行流程状态管理器记录每一步的执行结果Checkpoint保证长任务可恢复。4. 高准确性场景怎么控制幻觉投研场景对准确性要求极高错误数据可能导致投资决策失误。我用了三层防线第一层检索增强生成RAG强制约束所有回答必须基于检索到的上下文限制LLM自由发挥的空间检索Top-K文档作为证据池生成时只允许从池中引用第二层事实核查Fact-CheckingAgent生成内容后单独跑一个质检Agent逐句核查是否有依据对每个事实性陈述要求给出对应的引用来源第三层拒答机制当检索结果置信度低于阈值时明确告知用户当前资料不足以回答该问题阈值设定综合相关性和文档权威性两个维度# 幻觉控制的核心逻辑简化版def generate_with_hallucination_control(query, retrieved_docs): # 第一层检索质量检查 if max(doc.relevance_score for doc in retrieved_docs) 0.7: return 当前资料不足以回答该问题建议补充更多信息源。 # 第二层约束生成 response llm.generate( queryquery, contextretrieved_docs, system_prompt你只能基于提供的上下文回答严禁编造任何信息。 ) # 第三层事实核查 for claim in extract_claims(response): if not verify_claim(claim, retrieved_docs): return 生成内容存在无法核实的信息已自动拦截。 return response5. 幻觉率和引用错误率多少业务上能否接受这是个送命题。我说了真实数据幻觉率Hallucination Rate约3.2%人工抽检1000条32条存在事实性错误引用错误率Citation Error Rate约1.8%引用来源不匹配或链接失效业务上是否可接受坦白讲对投研场景来说偏高。但目前的策略是人机协同Agent生成初稿分析师复核修改。目标是把人工效率提升50%以上而不是完全替代人。面试官追问怎么降低我说了三个方向引入更细粒度的段落级溯源、增加人工反馈的RLHF闭环、以及用更强的检索模型。6. Multi-Agent框架自研还是LangChain/LangGraph我们自研了核心编排框架但借鉴了LangGraph的思路。原因LangChain/LangGraph抽象层次高但定制化成本也高投研场景有特殊的状态管理需求长任务、多轮对话、可中断恢复自研能更好地控制性能和成本减少不必要的序列化开销简单说吃透了LangGraph的设计思想但代码是自己撸的。# 自研框架的核心抽象class AgentNode: def __init__(self, name, run_fn, fallback_fnNone): self.name name self.run_fn run_fn self.fallback_fn fallback_fn self.status idle# idle | running | success | failed | retryclass AgentGraph: def __init__(self): self.nodes {} self.edges {} # node_name - [next_node_names] self.checkpoint_store CheckpointStore() def add_node(self, node, dependencies): self.nodes[node.name] node self.edges[node.name] dependencies def run_with_checkpoint(self, task_id, input_data): # 支持从checkpoint恢复 state self.checkpoint_store.load(task_id) or {} for node in self._topological_sort(): if node.name in state: continue try: result node.run_fn(input_data, state) state[node.name] result self.checkpoint_store.save(task_id, state) except Exception as e: if node.fallback_fn: state[node.name] node.fallback_fn(e) else: raise return state7. 定制了哪些能力任务调度/状态回退/checkpoint/trace回放四个核心定制任务调度Task Scheduling支持DAG依赖编排和优先级队列。搜索Agent完成后才能触发阅读Agent分析Agent依赖阅读结果。状态回退State Rollback任意节点失败时可回退到上一个成功节点状态。比如撰写Agent报错自动回退到分析Agent的输出重新生成。Checkpoint机制每完成一个Agent节点就持久化一次状态。任务中断后重启直接从最近checkpoint恢复不重复执行已完成节点。Trace回放Trace Replay记录每一步的输入输出、token消耗、耗时。用于调试和成本分析。8. 长期/中期/短期记忆分别怎么设计三层记忆体系类型存储介质容量更新频率内容短期记忆Redis最近20轮对话每次交互当前会话上下文、临时偏好中期记忆向量数据库最近30天每日异步历史任务摘要、用户行为模式长期记忆知识图谱SQL全部历史每周聚合用户画像、领域知识、固化经验短期就是会话级的上下文窗口用Redis存过期自动清理。中期是把历史任务压缩成向量存入向量库需要时做相似检索。比如用户之前问过某公司的财务数据下次再问相关公司时会自动召回。长期是结构化的用户画像和知识沉淀。比如用户的投资偏好、关注领域、常用分析框架存在SQL里。知识图谱存实体关系支持推理。9. 记忆滚动更新、摘要压缩、结构化压缩怎么做的这块面试官问得特别细我一个个说。滚动更新Sliding Window维护一个固定长度的对话序列比如最近20轮新对话进入时最旧的对话被挤出。被挤出的内容不是丢弃而是进入压缩流程。摘要压缩Summarization Compression当短期记忆达到阈值时触发LLM生成摘要保留关键事实和决策点。摘要存入中期记忆原始对话归档。短期记忆(20轮) → 达到阈值 → LLM摘要生成 → 摘要存入中期记忆 → 清空短期窗口结构化压缩Structured Compression比摘要更进一步把信息转化为结构化形式。比如用户认为XX公司估值过高 → 转化为(实体:XX公司, 属性:估值, 观点:过高, 置信度:0.85, 时间:2026-08-01)。存入知识图谱。# 结构化压缩流程def structured_compression(dialog_history): # 第一步抽取三元组 triples extract_triples(dialog_history) # [(实体1, 关系, 实体2), ...] # 第二步去重融合 merged merge_entities(triples) # 同一个实体不同表述合并 # 第三步置信度加权 weighted apply_confidence(merged) # 基于出现频率和上下文计算置信度 # 第四步写入知识图谱 kg.batch_upsert(weighted)10. Badcase怎么定义review拒绝/用户不采纳/高质量样本分别怎么处理Badcase分三类Review拒绝质检Agent拦截的样本幻觉、格式错误、引用失效用户不采纳用户明确反馈答案不可用或直接重新提问高质量样本用户确认采纳、点赞、收藏的答案三类样本走不同路径Review拒绝→ 立即告警 → 人工标注错误类型 → 加入负样本池用户不采纳→ 记录上下文和用户反馈 → 每周Review → 归因分析高质量样本→ 自动标记正样本 → 加入SFT训练集11. Badcase回流到SFT的完整链路这是个大工程我画了个流程图关键细节自动预标注用当前模型对Badcase重新生成答案对比线上答案识别差异点人工精标注标注员修正错误写出标准答案数据增强对标注样本做同义改写、扩写增加多样性质量门槛只有标注一致性超过95%的样本才进入训练集12. 评测体系谁搭的检索评测/生成评测/链路评测/线上评测怎么做的评测体系是我主导搭建的分四个维度检索评测Retrieval Evaluation指标RecallK、MRR、NDCGK数据集人工构造的查询-文档对覆盖常见投研问题类型基线对比ES全文检索、向量检索、混合检索生成评测Generation Evaluation自动指标ROUGE-L、BLEU-4、BERTScore人工指标事实正确性、完整性、可读性1-5分制每月一次人工抽检样本量500链路评测End-to-End Evaluation完整任务完成率比如生成一份XX公司分析报告是否完整输出任务耗时目标单报告3分钟用户满意度采纳率、点赞率线上评测Online EvaluationAB测试新模型与旧模型流量对半分核心指标用户采纳率、任务完成率、平均对话轮次监控告警实时追踪幻觉率、引用错误率# 检索评测核心代码def evaluate_retrieval(test_queries, retriever, k10): metrics {recall: [], mrr: [], ndcg: []} for query, ground_truth_ids in test_queries: results retriever.search(query, top_kk) retrieved_ids [r.id for r in results] # RecallK recall len(set(retrieved_ids) set(ground_truth_ids)) / len(ground_truth_ids) metrics[recall].append(recall) # MRR for i, rid in enumerate(retrieved_ids): if rid in ground_truth_ids: metrics[mrr].append(1.0 / (i 1)) break else: metrics[mrr].append(0.0) # NDCGK dcg sum([1.0 / np.log2(i 2) for i, rid in enumerate(retrieved_ids) if rid in ground_truth_ids]) idcg sum([1.0 / np.log2(i 2) for i in range(min(len(ground_truth_ids), k))]) metrics[ndcg].append(dcg / idcg if idcg 0 else 0) return {k: np.mean(v) for k, v in metrics.items()}学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
