DiffListener: Discrete Diffusion Model for Listener Generation

📄 arXiv: 2502.06822v1 📥 PDF

作者: Siyeol Jung, Taehwan Kim

分类: cs.LG, cs.CL, cs.GR

发布日期: 2025-02-05

备注: Accepted at ICASSP 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DiffListener：提出基于离散扩散模型的非自回归听者头部姿态生成方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 听者头部姿态生成 离散扩散模型 非自回归生成 多模态融合 面部动态建模

📋 核心要点

  1. 现有听者头部姿态生成方法依赖模态有限或采用自回归模型，存在信息不足和误差累积问题。
  2. DiffListener利用离散扩散模型，结合说话者面部、音频和文本信息，非自回归地生成听者反应。
  3. 实验表明，DiffListener在生成自然、同步的听者反应方面达到了最先进的性能，用户研究也验证了其有效性。

📝 摘要（中文）

听者头部姿态生成（LHG）任务旨在基于说话者的多模态线索生成自然的非语言听者反应。先前的工作要么依赖于有限的模态（例如，音频和面部信息），要么采用自回归方法，这些方法存在累积预测误差等局限性。为了解决这些限制，我们提出DiffListener，一种基于离散扩散的非自回归听者头部生成方法。我们的模型将说话者的面部信息、音频和文本作为输入，此外还结合了面部差异信息来表示表情和运动的时间动态。通过这种对面部动态的显式建模，DiffListener可以以非自回归方式生成连贯的反应序列。通过全面的实验，DiffListener在定量和定性评估中都表现出最先进的性能。用户研究表明，DiffListener生成与说话者良好同步的自然、上下文感知的听者反应。

🔬 方法详解

问题定义：听者头部姿态生成（Listener Head Generation, LHG）旨在根据说话者的多模态信息（面部、音频、文本）生成自然的听者非语言反应。现有方法的痛点在于：一是依赖的模态信息有限，例如只使用音频和面部信息，忽略了文本信息；二是采用自回归模型，导致预测误差累积，影响生成序列的连贯性。

核心思路：DiffListener的核心思路是利用离散扩散模型，将听者头部姿态生成问题建模为一个从噪声到真实数据的逐步去噪过程。通过非自回归的方式，避免了误差累积的问题，同时能够更好地捕捉多模态信息之间的复杂关系。此外，模型显式地建模了面部动态信息，从而生成更自然、连贯的听者反应序列。

技术框架：DiffListener的整体框架包括以下几个主要模块：1) 多模态编码器：用于提取说话者面部、音频和文本信息的特征表示；2) 面部动态建模模块：通过计算面部差异信息，显式地表示表情和运动的时间动态；3) 离散扩散模型：将听者头部姿态生成建模为一个离散扩散过程，通过逐步去噪生成最终的听者反应序列。模型首先将真实数据加入噪声，然后学习如何从噪声中恢复原始数据。

关键创新：DiffListener的关键创新在于：1) 提出了一种基于离散扩散模型的非自回归听者头部姿态生成方法，避免了自回归模型的误差累积问题；2) 显式地建模了面部动态信息，从而生成更自然、连贯的听者反应序列；3) 融合了说话者的面部、音频和文本信息，从而更好地捕捉多模态信息之间的复杂关系。

关键设计：DiffListener的关键设计包括：1) 使用Transformer网络作为多模态编码器，提取说话者面部、音频和文本信息的特征表示；2) 通过计算相邻帧之间的面部关键点差异，得到面部动态信息；3) 采用离散变分自编码器（Discrete Variational Autoencoder, DVAE）将听者头部姿态离散化，然后使用扩散模型进行生成；4) 损失函数包括扩散模型的损失函数和DVAE的重构损失函数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DiffListener在听者头部姿态生成任务上取得了state-of-the-art的性能。定量评估和定性评估均表明，DiffListener生成的听者反应更自然、更同步。用户研究进一步验证了DiffListener的有效性，表明其生成的听者反应与说话者上下文更相关，更符合人类的交互习惯。具体性能数据未知，但论文强调了其超越现有方法的优越性。

🎯 应用场景

DiffListener可应用于虚拟助手、社交机器人、游戏角色等领域，提升人机交互的自然性和真实感。通过生成更自然、同步的听者反应，可以增强用户的沉浸式体验，改善沟通效果。未来，该技术有望应用于远程会议、在线教育等场景，促进更高效、更自然的交流。

📄 摘要（原文）

The listener head generation (LHG) task aims to generate natural nonverbal listener responses based on the speaker's multimodal cues. While prior work either rely on limited modalities (e.g. audio and facial information) or employ autoregressive approaches which have limitations such as accumulating prediction errors. To address these limitations, we propose DiffListener, a discrete diffusion based approach for non-autoregressive listener head generation. Our model takes the speaker's facial information, audio, and text as inputs, additionally incorporating facial differential information to represent the temporal dynamics of expressions and movements. With this explicit modeling of facial dynamics, DiffListener can generate coherent reaction sequences in a non-autoregressive manner. Through comprehensive experiments, DiffListener demonstrates state-of-the-art performance in both quantitative and qualitative evaluations. The user study shows that DiffListener generates natural context-aware listener reactions that are well synchronized with the speaker. The code and demo videos are available in https://siyeoljung.github.io/DiffListener