EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation
作者: Yunbo Long, Haolang Zhao, Lukas Beckenbauer, Liming Xu, Alexandra Brintrup
分类: cs.CL, cs.AI
发布日期: 2026-05-26
💡 一句话要点
提出EmoDistill以解决情感驱动的对抗性谈判问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 情感蒸馏 对抗性谈判 大型语言模型 隐式Q学习 低秩适应 情感策略 智能代理 离线学习
📋 核心要点
- 现有的大型语言模型在对抗性谈判中容易受到情感语言的影响，导致策略失衡。
- EmoDistill框架通过情感选择和表达的分解，利用隐式Q学习和低秩适应来提升谈判技能。
- 在多个高风险谈判领域中，EmoDistill显著提高了代理的效用，超越了传统基线和单一情感选择方法。
📝 摘要（中文）
后训练的大型语言模型（LLMs）通常优化以符合人类偏好，使其安全、礼貌且适合对话。然而，在对抗性谈判中，这种对齐可能成为一种脆弱性：情感框架的语言可能会引导代理朝向对方的利益。通过基于GoEmotions的情感提示，我们表明情感显著改变谈判结果，表明情感是一种战略行动渠道而非表面风格。因此，我们提出了EmoDistill，一个离线框架，用于将情感谈判技能蒸馏到语言模型代理中。EmoDistill将情感策略分解为情感选择和情感表达：隐式Q学习（IQL）选择器学习“表达哪种”情感，而基于低秩适应（LoRA）的策略通过监督微调（SFT）和评判策略优化（JPO）学习“如何”表达。在四个情感敏感的高风险谈判领域中，基于EmoDistill框架训练的SLM策略实现了最高的效用，超越了普通的SLM/LLM基线和仅使用IQL的情感选择。消融实验表明情感条件化是必不可少的，迁移研究展示了跨领域、未见对手和训练对抗训练的泛化能力。总体而言，EmoDistill通过离线代理间交互学习技能，避免了训练期间昂贵的在线谈判。
🔬 方法详解
问题定义：本论文旨在解决在对抗性谈判中，现有大型语言模型因情感语言影响而导致的策略失衡问题。现有方法未能有效利用情感作为战略工具，导致谈判结果偏向对方利益。
核心思路：论文提出EmoDistill框架，通过将情感策略分解为情感选择和情感表达，来增强语言模型在谈判中的表现。通过隐式Q学习选择合适的情感，并利用低秩适应技术优化表达方式，从而实现更有效的情感驱动谈判。
技术框架：EmoDistill的整体架构包括两个主要模块：情感选择模块（使用隐式Q学习）和情感表达模块（基于低秩适应的策略）。在训练过程中，首先通过离线代理间交互收集数据，然后进行监督微调和评判策略优化。
关键创新：EmoDistill的核心创新在于将情感策略的学习过程系统化，明确区分情感选择与表达，利用先进的学习算法提升模型的谈判能力。这种方法与传统的情感处理方法本质上不同，后者往往只关注情感的表面表现。
关键设计：在模型设计中，使用了隐式Q学习来优化情感选择，确保选择的情感与谈判目标一致。同时，低秩适应技术用于策略优化，结合监督微调和评判策略优化，确保模型在多种情境下的有效性。
🖼️ 关键图片
📊 实验亮点
在四个情感敏感的高风险谈判领域中，基于EmoDistill框架训练的SLM策略实现了最高的效用，超越了普通的SLM/LLM基线，提升幅度显著，尤其在情感条件化的消融实验中表现出其重要性。
🎯 应用场景
EmoDistill的研究成果可广泛应用于自动化谈判系统、智能客服、虚拟助手等领域，提升其在复杂情境下的情感理解与应对能力。未来，该框架有望推动情感智能在多种人机交互场景中的应用，增强用户体验和满意度。
📄 摘要（原文）
Post-trained LLMs are often optimized to align responses with human preferences, making them safe, polite, and conversationally appropriate. In adversarial negotiation, however, this alignment can become a vulnerability: emotionally framed language may steer agents toward the counterparty's interests. Using GoEmotions-based affective prompting, we show that emotion substantially shifts negotiation outcomes, suggesting that emotion is a strategic action channel rather than a surface style. Thus, we introduce \textbf{EmoDistill}, an offline framework for distilling emotional negotiation skills into language model agents. EmoDistill decomposes emotional strategy into emotion selection and emotion expression: an Implicit Q-Learning (IQL) selector learns \emph{which} emotion to express, while a Low-Rank Adaptation (LoRA)-based policy learns \emph{how} to express it through Supervised Fine-Tuning (SFT) and Judge Policy Optimization (JPO). Across four emotion-sensitive, high-stakes negotiation domains, SLM policies trained under the EmoDistill framework achieve the highest utility, outperforming vanilla SLM/LLM baselines and IQL-only emotion selection. Ablations show that emotion conditioning is essential, and transfer studies demonstrate generalization across domains, unseen counterparties, and trained-vs-trained tournaments. Overall, EmoDistill learns skills from offline agent-to-agent interactions, avoiding costly online negotiation during training.