FACES: Fine-grained Gated Semantic Alignment for Multimodal Emotional Support Conversation

📄 arXiv: 2610.20051v1 📥 PDF

作者: Hang Ren, Peidong Wang, Yichen Gao, Wen Zhang, Jiayang Yu, Xiaocui Yang, Shi Feng

分类: cs.CL

发布日期: 2026-10-14

备注: 27 pages, including references and appendices

🔗 代码/项目: GITHUB

💡 一句话要点

提出FACES框架以解决多模态情感支持对话中的语义反馈不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感支持 语义对齐 门控机制 奖励整合 思维链锚点

📋 核心要点

  1. 现有多模态情感支持对话系统存在语义反馈不足和支持策略不当等问题，导致响应质量较低。
  2. FACES框架通过细粒度门控语义对齐，整合多源奖励，减少跨维度奖励偏差，从而提升对话系统的响应质量。
  3. 实验结果表明，FACES在控制响应长度的协议下，平均评估分数提升至4.04，且在多个数据集上表现出良好的迁移性。

📝 摘要（中文）

近年来，随着多模态交互技术的进步和智能情感支持需求的增长，多模态情感支持对话（MESC）成为一项重要任务。然而，现有系统由于语义反馈弱、跨维度奖励补偿不足和粗糙的推理监督，仍面临浅层响应和不当支持策略的问题。为此，本文提出FACES，一个细粒度门控语义对齐框架，旨在解决这些挑战。FACES通过整合多源奖励构建多维语义和功能对齐信号，采用非补偿性门控融合机制减少跨维度奖励偏差，并利用结构化的思维链锚点进行令牌级信用分配。在控制响应长度的协议下，FACES将基于MLLM的平均评估分数从3.61提升至4.04，并在SOTA上实现80.22%的成对胜率。人类评估结果显示75.3%的偏好率，且在三个外部数据集上的结果进一步支持其可迁移性。

🔬 方法详解

问题定义：本文旨在解决多模态情感支持对话中存在的语义反馈不足和支持策略不当的问题。现有方法往往由于奖励机制不完善和推理监督粗糙，导致系统响应质量低下。

核心思路：FACES框架的核心思路在于通过细粒度的门控语义对齐，整合来自不同源的奖励信号，以实现多维度的语义和功能对齐，从而提升对话系统的响应能力和准确性。

技术框架：FACES的整体架构包括多个主要模块：首先是多源奖励整合模块，用于构建多维对齐信号；其次是非补偿性门控融合机制，旨在减少跨维度奖励的偏差；最后是结构化思维链锚点，用于进行令牌级的信用分配。

关键创新：FACES的主要创新在于其非补偿性门控融合机制和结构化思维链锚点的引入，这与现有方法的补偿性设计形成鲜明对比，能够更有效地处理多模态信息。

关键设计：在参数设置上，FACES采用了特定的损失函数以优化多维对齐信号，并设计了适应性网络结构以支持门控机制的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FACES在控制响应长度的协议下，基于MLLM的平均评估分数从3.61提升至4.04，且在与SOTA的对比中实现了80.22%的成对胜率。此外，人类评估显示75.3%的偏好率，验证了其在实际应用中的有效性。

🎯 应用场景

FACES框架在多模态情感支持对话领域具有广泛的应用潜力，能够为智能客服、心理咨询和社交机器人等场景提供更为精准和人性化的情感支持。未来，该技术可进一步拓展至其他需要情感理解和响应的智能系统中，提升用户体验。

📄 摘要（原文）

In recent years, with advances in multimodal interaction technologies and the growing demand for intelligent emotional support, Multimodal Emotional Support Conversation (MESC) has emerged as an important task. However, existing systems still suffer from shallow responses and inappropriate support strategies due to weak semantic feedback, cross-dimension reward compensation, and coarse reasoning supervision. To address these challenges, we propose FACES, a fine-grained gated semantic alignment framework for MESC. Specifically, FACES integrates multi-source rewards to construct multidimensional semantic and functional alignment signals, employs a non-compensatory gated fusion mechanism to reduce cross-dimension reward offset, and leverages structured Chain-of-Thought (CoT) anchors to perform token-level credit assignment. Under a controlled response-length protocol, FACES improves the average MLLM-based evaluation score from 3.61 to 4.04 and achieves an 80.22% pairwise win rate over SOTA. Human evaluation under the same protocol yields a 75.3% preference rate. Results on three external datasets further support transferability. The code and dataset are available at https://github.com/OCT-ARR/arr.