大模型也患“舌尖现象”：谷歌450万次测试揭示AI记忆的非确定性本质

你有没有遇到过这种情况明明知道某个概念、某个名字、某个答案就在脑子里但话到嘴边就是说不出来这种“舌尖现象”是人类记忆的常见小故障。有趣的是当我们以为人工智能尤其是那些动辄千亿参数的大模型已经无所不能时最新的研究却发现它们也“继承”了人类的这个毛病。最近谷歌的研究人员对包括GPT-4、Claude 3 Opus在内的多个顶级大模型进行了一项大规模的“回忆”测试。他们模拟了超过450万次类似“钥匙丢了”这样的日常记忆检索场景结果发现了一个反直觉的现象这些模型在回忆特定信息时并非总是“全有或全无”而是会表现出一种类似人类的“部分回忆”或“回忆失败”状态。它们有时会给出一个模糊、不完整甚至错误的答案而不是直接说“我不知道”。这听起来像是一个技术缺陷但深入思考它揭示了一个远比“模型不够强”更深刻的议题我们一直追求的“完美记忆”和“确定性推理”可能并不是智能的唯一形态甚至不是最高效的形态。谷歌这项研究与其说是在给大模型“找茬”不如说是在重新审视“智能”与“记忆”、“推理”与“检索”之间的复杂关系。它让我们看到当前以大语言模型为代表的AI其工作方式可能比我们想象的更接近人脑的某些“非理性”机制而理解这些机制恰恰是让AI变得更可靠、更可用的关键。1. 从“钥匙丢了”到450万次测试大模型也会“卡壳”想象一个再普通不过的场景你把钥匙放在某个地方但一时想不起来。你的大脑并非一片空白可能会蹦出几个模糊的线索——“好像放在进门的地方”、“是不是在昨天穿的外套里”。这是一种“部分回忆”你知道相关信息存在但无法精准定位。谷歌的研究团队正是从这类日常认知现象中获得灵感。他们设计了一套精巧的测试方法核心不是考察模型“知道多少”而是考察模型“如何回忆”。测试的基本逻辑是先让模型“学习”即在其上下文中注入一些特定的“事实”或“知识片段”比如“钥匙在厨房的第二个抽屉里”。然后通过一系列逐步细化或变换角度的问题要求模型“回忆”出这个具体信息。这个测试的关键在于其规模和设计的科学性。450万次的测试量确保了结果不是偶然误差。更重要的是测试覆盖了多种“回忆”场景直接提取给出明确线索要求直接回答。模糊线索下的检索给出不完整的、模糊的提示。干扰项下的识别在正确答案旁边放置语义相近的干扰项。推理链中的回忆需要多步推理其中某一步依赖之前“学习”的事实。结果如何研究发现像GPT-4、Claude 3 Opus这样的顶尖模型在直接提取简单事实时表现近乎完美。然而一旦场景变得复杂——线索模糊、存在干扰或需要结合上下文推理时模型的“回忆”行为就开始出现类似人类的“故障模式”产生模糊或笼统的回答当无法精确回忆时模型不会断然说“我不知道”而是倾向于给出一个范围更广、正确但无用的答案。例如它可能说“钥匙在房子里”而不是“在厨房的第二个抽屉”。“幻觉”出似是而非的细节在压力来自模糊提示下模型有时会“自信地”编造一个具体的、但错误的细节来填补记忆空白。这非常像人类在“舌尖现象”时可能会错误地确信一个错误的答案。表现不一致对同一个问题稍加改变问法模型可能从“回答正确”变成“回答模糊”或“回答错误”。这表明它的“回忆”状态是不稳定的依赖于问题被激活的具体路径。这个发现颠覆了一个常见的误解我们总以为大模型是一个静态的、确定性的知识库提问就像用关键词在数据库里做精确查询要么命中返回结果要么未命中返回空。但谷歌的实验表明大模型的“回忆”更像是一个动态的、概率性的“模式激活”过程。它受上下文、问题表述、模型内部状态如注意力分配的深刻影响因此会出现“不确定”、“模糊”甚至“自信地犯错”这些非常“人性化”的输出。2. 为什么“不完美”的回忆可能是一种更高级的智能特征初看之下模型回忆失败是个需要修复的“Bug”。但如果我们换个视角从认知科学和工程实用性的角度思考这种“不完美”或许揭示了当前大模型架构的一些深层优势甚至是迈向更通用智能的必要特征。2.1 它不是数据库而是“模式补全器”大语言模型的核心能力不是“存储-检索”而是“基于统计的模式生成与补全”。当它被问及“钥匙在哪”时它并不是去一个叫“钥匙位置”的存储槽里读取数据而是根据“钥匙”、“丢”、“找”等提示词激活训练数据中与之相关的海量概率分布然后生成一个最可能的文本序列。这种机制的优势在于极强的泛化能力和联想能力。它能处理从未见过的组合问题能进行类比推理能创造新内容。而它的代价就是精确回忆的脆弱性。因为它的“记忆”是分布式、重叠式编码在整个网络权重中的提取特定信息就像从一幅巨大的、交织的图案中 pinpoint 一个特定的点很容易受到其他相似图案干扰信息的影响。2.2 “模糊性”是灵活推理的代价也是资源人类大脑的记忆也是模糊和关联的。正是这种模糊性让我们能够进行类比、隐喻和创造性思维。如果我们的记忆像硬盘一样精确且孤立那么“灵光一现”将很难发生。同样大模型若只能做精确检索它将无法完成需要常识、需要跳出框框的复杂任务。模型的“模糊回忆”可以被看作是一种计算资源的节约策略和风险控制机制。在面对不确定的查询时给出一个模糊但安全的答案“在房子里”比冒险给出一个具体但可能错误的答案“在卧室床头柜”在多数开放对话场景下是更优的策略。后者会导致严重的幻觉和信任崩塌。2.3 区分“不知道”和“不确定”是智能的关键一个真正智能的系统应该能评估自己答案的置信度。谷歌实验揭示的“部分回忆”现象实际上是大模型在隐式地表达“我不确定”。问题在于目前它缺乏一种清晰、显式的方式将这种“不确定感”传达给用户。它可能用模糊语言、用错误答案、或用过度自信来掩盖这种不确定性。因此研究的价值不在于证明模型会犯错而在于开始量化并理解这种“不确定性”的来源和表现。这为后续改进指明了方向我们需要的可能不是消除不确定性而是教会模型更好地管理并表达它。例如让模型学会说“根据你之前提到的信息钥匙很可能在厨房但我不能完全确定因为你也可能后来移动过它”。3. 从实验室到工程实践如何与一个“会忘事”的AI协作理解了模型回忆的“非确定性”本质对我们实际使用和开发AI应用具有直接的指导意义。我们不能指望模型像Oracle数据库一样可靠而必须调整我们的使用策略和系统设计。3.1 给开发者的启示系统设计需要“容错”与“验证”如果你正在构建一个严重依赖大模型精确回忆事实的应用如知识问答、客服、法律咨询那么单纯依赖模型的“自由回忆”是危险的。你必须引入工程化的“护栏”和“验证”机制。采用检索增强生成RAG作为记忆外挂这是目前最主流的解决方案。核心思想是将模型的“内部回忆”转变为“外部检索”。系统维护一个结构化的、可精确查询的知识库向量数据库或传统数据库。当用户提问时先从这个外部知识库中检索出最相关的文档片段然后将这些片段作为明确的上下文提供给模型让模型基于此生成答案。这极大地降低了模型“凭空回忆”出错的风险。设计多层校验流程对于关键答案不能“一次生成直接交付”。可以设计流程让模型对自己生成的答案进行事实性核查或者用另一个模型进行交叉验证。对于数值、日期、名称等关键实体可以尝试从答案中提取出来再反向查询知识库进行确认。管理用户预期输出置信度在界面设计上对于模型基于内部知识生成的答案可以考虑提供来源提示或置信度标识如“此信息基于模型训练数据建议进一步核实”。这不仅是技术上的诚实也是产品伦理的要求。3.2 给使用者的建议改变提问方式获取更好答案作为普通用户了解模型的这个特性也能帮助你更有效地与之交互。提供清晰、具体的上下文如果你希望模型回忆你们对话中早先的内容尽量清晰地引用之前的表述。不要问“你刚才说的那个方法是什么”而是问“关于你之前提到的‘用RAG解决幻觉问题’的方法能再详细解释一下第一步吗”避免“大而全”的一次性提问对于复杂问题将其分解成多个逻辑连贯的小问题。这相当于为模型搭建了一个清晰的“回忆路径”降低了它在单次生成中需要处理的信息负荷和模糊性。对关键事实进行交叉询问如果你得到一个重要但存疑的信息可以换一种方式重新提问或者要求模型提供推理依据。例如“你能解释一下是如何得出这个结论的吗”或者“关于X事件的日期还有其他的佐证信息吗”理解模型的“能力边界”将大模型视为一个极具创造力和泛化能力的思考伙伴而不是一个绝对正确的事实百科全书。用它来头脑风暴、撰写草稿、总结信息、解释概念而对于需要百分百精确的事实查询则应优先使用搜索引擎或专业数据库并将结果作为上下文提供给模型加工。4. 未来方向我们是在修复“Bug”还是在定义新的智能范式谷歌的这项研究打开了一扇窗让我们看到大模型内部认知过程的复杂性。那么接下来的路该怎么走是全力攻克这个“回忆失败”的Bug追求完美的确定性AI还是拥抱这种特性发展出新一代的、懂得表达不确定性的智能系统我认为两者并非互斥但重点应该放在后者。短期来看技术改进会沿着两个方向进行模型架构与训练优化研究人员会尝试通过改进训练目标如强化事实一致性、模型架构如引入更显式的记忆模块或推理算法如更复杂的抽样策略来增强模型精确回忆的能力。这类似于在提升模型的“工作记忆”精度。评估体系的完善像谷歌这样设计更精细、更贴近认知科学的评测基准会变得更重要。我们需要超越简单的“准确率”去评估模型在模糊情境下的表现、其答案的校准程度置信度与真实正确率是否匹配以及失败模式的类型。长期而言更具颠覆性的可能是范式的转变我们或许应该放弃让单一模型“全知全能且确定”的幻想转而设计由多个具有不同“认知特性”的组件协同工作的系统。在这个系统里“慢思考”模块如检索系统、符号推理引擎负责处理需要精确性和逻辑性的任务。“快思考”模块即当前的大语言模型负责处理需要联想、创意和模糊匹配的任务。一个“元认知”协调器负责评估问题类型分配任务并整合各模块的结果最终以人类可理解的方式包括表达不确定性呈现答案。这种系统承认“模糊回忆”和“确定性检索”各有其价值并将它们置于合适的岗位。它不再试图消除AI的“人性化”缺陷而是将这些缺陷纳入一个更宏大、更稳健的智能框架中进行管理。回到开头的“钥匙丢了”问题。一个完美的智能体或许能瞬间报出经纬度坐标但一个更“智能”的系统可能会像人类朋友一样结合你的习惯、当天的活动轨迹以及一些概率推断给出几个最有可能的位置并说“我猜很可能在这三个地方之一我们按顺序找找看”后者或许才是我们真正需要的、能够与我们协同解决复杂现实问题的AI伙伴。谷歌的450万次测试告诉我们今天的AI已经不是一个简单的工具而是一个复杂的、有时会“犯迷糊”的认知主体。理解它的“迷糊”学会如何与它有效对话并设计能够弥补其短处、发挥其长处的系统是我们从“使用AI”走向“与AI协作”的必经之路。这条路才刚刚开始。