Emotions Where Art Thou: Understanding and Characterizing the Emotional Latent Space of Large Lan...

文章主要内容总结该研究聚焦大型语言模型（LLMs）内部情感表征机制，通过分析隐藏状态空间的几何结构，揭示了LLMs中情感编码的核心特征。研究发现LLMs存在低维情感流形，情感以定向编码方式分布于各层，且与可解释维度对齐，这种结构在模型深度上稳定，并能泛化到五种语言的八个真实情感数据集，形成通用情感子空间。同时，研究提出了一种学习干预模块，可在保留语义的前提下操控模型内部情感感知，对基础情感的跨语言控制效果尤为显著。此外，还通过多种方法探究了模型的“内部心理学”，包括情感的分离、对齐方式，以及神经元层面的分布式编码模式。文章创新点首次提取LLMs的低维情感子空间，证实其跨层、跨数据集、跨语言的几何一致性，且情感编码具有定向性和分布式特征。验证了情感表征的通用性，通过对齐分析显示合成情感数据与人类撰写情感数据的编码空间可低失真匹配，线性探针在跨域场景下表现优异。提出可解释的情感维度映射，发现模型隐空间的主成分与心理学中的效价、主导性、趋近-回避动机等情感维度高度契合。设计了兼顾情感控制与语义保留的学习型转向模块，实现对多语言、多数据集下多种情感的精准操控，解决了细粒度情感干预的核心问题。Abstract 翻译本研究通过分析大型语言模型（LLMs）隐藏状态空间的几何结构，探究其内部如何表征情感。研究识别出一个低维情感流形，发现情感表征以定向方式编码、分布于各层，并与可解释维度对齐。这些结构在模型深度上保持稳定，且能泛化到涵盖五种语言的八个真实世界情感数据集。跨域