Emotion Is Not External Knowledge: Internal Attention Signals for Affective State Reasoning

📄 arXiv: 2610.21347v1 📥 PDF

作者: Wenqiu Tang, Zhen Wan, Yihui Wang, Takahiro Komamizu, Ichiro Ide

分类: cs.CL

发布日期: 2026-10-15

备注: Accepted to AACL 2026 (Main Conference)

💡 一句话要点

提出自目标内部注意力增强方法以提升情感状态推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感推理 内部注意力 大型语言模型 多轮交互 情感分析

📋 核心要点

  1. 现有方法在情感状态推理中依赖于标记的领域内头部特征，限制了迁移能力。
  2. 提出自目标内部注意力增强（SIAB），通过因果定位定位稀疏情感头并增强其关注的内容标记。
  3. SIAB在ECC和GoEmotions数据集上显著提升了模型性能，宏F1分别提高了10.3和5.5。

📝 摘要（中文）

大型语言模型（LLMs）在多轮交互中需要维持潜在的对话状态，而不仅仅是显式事实。本文研究情感状态作为一种隐式状态，通过稀疏的上下文线索推断，并探讨LLMs是否在推理时暴露内部注意力信号。现有的注意力干预方法依赖于标记的领域内头部特征和外部指定的目标范围，限制了在情感证据分布中的迁移能力。我们提出了自目标内部注意力增强（SIAB）方法，通过因果定位（详细为激活补丁）在合成最小对上定位稀疏情感头，并在答案位置增强这些头已经关注的内容标记。我们在ECC和GoEmotions数据集上评估了三种LLM和多种提示设置，结果显示SIAB在ECC上提高了最多10.3的宏F1，在GoEmotions上提高了5.5。结合PASTA风格的外部监督，准确率和宏F1分别提高了13.84和12.51，同时机制分析追踪了增益来源于稀疏的情感丰富头部，且层间接近性影响加性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在情感状态推理中的不足，现有方法依赖于标记的领域内头部特征，限制了其在不同情感证据分布中的迁移能力。

核心思路：提出自目标内部注意力增强（SIAB）方法，通过因果定位技术在合成最小对上定位稀疏情感头，并在答案位置增强这些头已经关注的内容标记，从而提升情感状态推理的准确性。

技术框架：SIAB方法包括两个主要模块：第一，使用激活补丁技术定位稀疏情感头；第二，在答案位置增强这些头关注的内容标记，确保模型能够有效利用自身行为生成的头部特征。

关键创新：SIAB的核心创新在于通过模型自身行为生成的头部特征进行情感推理的增强，避免了对外部标记的依赖，使得同一头部特征集可以在不同任务中复用。

关键设计：在SIAB中，采用了激活补丁技术来定位情感头，并在模型的答案位置增强相关内容标记，具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SIAB在ECC数据集上提升了最多10.3的宏F1，在GoEmotions数据集上提升了5.5。结合PASTA风格的外部监督，准确率和宏F1分别提高了13.84和12.51，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括情感分析、对话系统和人机交互等。通过提升情感状态推理的准确性，SIAB方法可以帮助构建更具情感理解能力的智能助手，增强用户体验。此外，该方法的设计思路也可为其他领域的模型优化提供借鉴。

📄 摘要（原文）

Large Language Models (LLMs) increasingly operate in multi-turn interactions that require maintaining latent conversational states, not only explicit facts. We study affective state as an implicit state inferred from sparse contextual cues that remain relevant after topic shifts, and ask whether LLMs expose internal attention signals for routing such evidence at inference time. Prior attention interventions rely on labeled in-domain head profiles and externally specified target spans, limiting transfer across affective-evidence distributions. We propose Self-targeted Internal Attention Boosting (SIAB), which localizes sparse affective heads via causal localization (in detail activation patching) on synthetic minimal pairs and boosts, at the answer position, the content tokens these heads already attend to; both edited heads and target tokens are derived from the model's own behavior, enabling the same head set to be reused across tasks.We evaluate on ECC and GoEmotions across three LLMs and multiple prompting settings. Across settings, SIAB improves prompt-matched baselines by up to +10.3 macro-F1 on ECC and +5.5 on GoEmotions. Combined with PASTA-style external supervision, it achieves up to +13.84 accuracy points and +12.51 macro-F1 points, while mechanistic analyses trace the gains to sparse, emotion-enriched heads and show that layer proximity affects additivity.