An Explainable Emotion Alignment Framework for LLM-Empowered Agent in Metaverse Service Ecosystem

📄 arXiv: 2507.22326v1 📥 PDF

作者: Qun Ma, Xiao Xue, Ming Zhang, Yifan Shen, Zihan Zhao

分类: cs.AI

发布日期: 2025-07-30

💡 一句话要点

提出可解释的情感对齐框架，提升LLM驱动的元宇宙Agent服务能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元宇宙服务 LLM Agent 情感对齐 可解释性 知识图谱 社会涌现 人机交互

📋 核心要点

  1. 现有基于LLM的Agent在元宇宙服务中，难以将虚拟世界服务与现实世界服务有效桥接，面临角色数据融合、知识关联和伦理安全等挑战。
  2. 论文提出情感对齐框架，通过整合事实性因素到LLM Agent的决策过程，实现更具关系性的事实对齐，提升Agent的决策质量。
  3. 在O2O食品配送场景的仿真实验表明，该框架能够有效提升Agent的社会交互能力，产生更符合现实的社会涌现行为。

📝 摘要（中文）

本文提出了一种可解释的情感对齐框架，用于提升大型语言模型（LLM）驱动的Agent在元宇宙服务生态系统中的表现。该框架旨在将事实性因素整合到LLM驱动的Agent的决策循环中，系统地展示如何为这些Agent实现更具关系性的事实对齐。通过在离线到在线（Offline-to-Online）食品配送场景中进行的仿真实验，验证了该框架的有效性，并获得了更真实的社会涌现。

🔬 方法详解

问题定义：现有基于LLM的Agent在元宇宙服务生态系统中，面临着虚拟世界服务与现实世界服务割裂的问题。具体表现为角色数据融合困难，角色知识关联不足，以及潜在的伦理安全隐患。这些问题限制了LLM Agent在元宇宙中提供个性化和可靠服务的能力。

核心思路：论文的核心思路是将情感因素与事实性知识相结合，构建一个可解释的情感对齐框架。通过将事实性因素融入LLM Agent的决策循环，使其在进行决策时能够考虑到更全面的信息，从而实现更准确、更符合实际情况的决策。这种设计旨在弥合虚拟与现实之间的差距，提升Agent的智能水平。

技术框架：该框架包含以下主要模块：1) 情感识别模块，用于识别用户或环境的情感状态；2) 知识图谱模块，存储事实性知识和关系；3) 情感对齐模块，将情感信息与知识图谱中的事实性知识进行对齐，生成融合了情感和事实的上下文信息；4) LLM决策模块，基于融合后的上下文信息进行决策。整个流程是，首先通过情感识别模块获取情感信息，然后结合知识图谱中的事实，通过情感对齐模块进行融合，最后由LLM决策模块生成最终决策。

关键创新：该论文的关键创新在于提出了一个可解释的情感对齐框架，将情感因素与事实性知识相结合，提升了LLM Agent的决策能力。与现有方法相比，该框架不仅考虑了LLM自身的语言能力，还引入了外部知识和情感信息，使得Agent的决策更加合理和可信。此外，该框架的可解释性也使得用户更容易理解Agent的决策过程，从而增强了用户对Agent的信任感。

关键设计：情感对齐模块是关键设计之一，它负责将情感信息与知识图谱中的事实性知识进行融合。具体实现方式可能包括使用注意力机制来突出与情感相关的知识，或者使用图神经网络来学习情感与知识之间的关系。此外，损失函数的设计也至关重要，需要考虑如何平衡情感因素和事实性知识对决策的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在O2O食品配送场景的仿真实验中，该框架能够使LLM Agent做出更符合实际情况的决策，例如在用户情绪低落时推荐更温暖的食物，或者在天气恶劣时建议用户选择更快的配送方式。实验结果表明，该框架能够有效提升Agent的社会交互能力，产生更真实的社会涌现行为，例如更自然的对话和更合理的行为模式。

🎯 应用场景

该研究成果可广泛应用于元宇宙服务生态系统中，例如虚拟客服、智能导购、社交互动等场景。通过提升LLM Agent的决策能力和可解释性，可以为用户提供更个性化、更可靠的服务，增强用户在元宇宙中的体验。此外，该框架还可以应用于其他需要情感理解和知识推理的领域，例如智能医疗、金融风控等。

📄 摘要（原文）

Metaverse service is a product of the convergence between Metaverse and service systems, designed to address service-related challenges concerning digital avatars, digital twins, and digital natives within Metaverse. With the rise of large language models (LLMs), agents now play a pivotal role in Metaverse service ecosystem, serving dual functions: as digital avatars representing users in the virtual realm and as service assistants (or NPCs) providing personalized support. However, during the modeling of Metaverse service ecosystems, existing LLM-based agents face significant challenges in bridging virtual-world services with real-world services, particularly regarding issues such as character data fusion, character knowledge association, and ethical safety concerns. This paper proposes an explainable emotion alignment framework for LLM-based agents in Metaverse Service Ecosystem. It aims to integrate factual factors into the decision-making loop of LLM-based agents, systematically demonstrating how to achieve more relational fact alignment for these agents. Finally, a simulation experiment in the Offline-to-Offline food delivery scenario is conducted to evaluate the effectiveness of this framework, obtaining more realistic social emergence.