Is It Truly Necessary to Process and Fit Minutes-Long Reference Videos for Personalized Talking Face Generation?

📄 arXiv: 2511.07940v1 📥 PDF

作者: Rui-Qing Sun, Ang Li, Zhijing Wu, Tian Lan, Qianyu Lu, Xingshan Yao, Chen Xu, Xian-Ling Mao

分类: cs.CV

发布日期: 2025-11-11

💡 一句话要点

提出ISExplore策略，加速个性化说话人脸生成，减少参考视频处理时长。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 说话人脸生成 神经辐射场 3D高斯溅射 视频片段选择 信息量评估

📋 核心要点

  1. 现有说话人脸生成方法依赖数分钟参考视频，处理耗时，限制了实际应用。
  2. ISExplore策略自动选择信息量大的5秒视频片段，提升训练效率。
  3. 实验表明，ISExplore在加速5倍以上的同时，保持了高保真生成效果。

📝 摘要（中文）

说话人脸生成(TFG)旨在生成逼真且动态的说话人像，在数字教育、影视制作、电商直播等领域具有广泛应用。当前，基于神经辐射场(NeRF)或3D高斯溅射(3DGS)的TFG方法受到广泛关注。它们从每个目标个体的参考视频中学习和存储个性化特征，以生成逼真的说话视频。为了确保模型能够捕获足够的3D信息并成功学习唇-音频映射，以往的研究通常需要细致地处理和拟合几分钟的参考视频，这通常需要数小时。处理和拟合长参考视频的计算负担严重限制了这些方法的实际应用价值。然而，真的有必要拟合这么长的参考视频吗？我们的探索性案例研究表明，使用一些信息量大的参考视频片段（仅几秒钟）可以实现与完整参考视频相当甚至更好的性能。这表明视频的信息质量比其长度重要得多。受此观察的启发，我们提出了一种简单而有效的片段选择策略ISExplore（信息片段探索的缩写），该策略基于三个关键数据质量维度自动识别信息量大的5秒参考视频片段：音频特征多样性、唇部运动幅度和相机视角数量。大量的实验表明，我们的方法将NeRF和3DGS方法的数据处理和训练速度提高了5倍以上，同时保持了高保真输出。

🔬 方法详解

问题定义：现有基于NeRF或3DGS的个性化说话人脸生成方法，为了保证生成质量，需要使用数分钟的参考视频进行训练。然而，处理这些长视频需要耗费大量的时间和计算资源，严重阻碍了这些方法在实际场景中的应用，例如快速生成个性化的直播视频等。因此，如何减少参考视频的处理时长，同时保证生成质量，是本文要解决的核心问题。

核心思路：论文的核心思路是，并非参考视频的长度越长越好，视频的信息量才是关键。通过分析发现，只需要包含足够音频特征多样性、唇部运动幅度以及多角度信息的短视频片段，就能达到甚至超过长视频的训练效果。因此，论文提出了一种自动选择信息量大的短视频片段的策略，从而减少了数据处理和训练的时间。

技术框架：ISExplore策略主要包含以下几个步骤：1) 对参考视频进行分段，例如分成若干个5秒的片段；2) 对每个片段进行信息量评估，评估的维度包括音频特征多样性、唇部运动幅度以及相机视角数量；3) 根据评估结果，选择信息量最大的片段作为训练数据。整个流程简单高效，易于集成到现有的NeRF或3DGS框架中。

关键创新：该论文的关键创新在于提出了ISExplore策略，该策略能够自动选择信息量大的短视频片段，从而在保证生成质量的前提下，大幅减少了数据处理和训练的时间。与现有方法需要手动选择或者使用完整长视频相比，ISExplore策略更加自动化和高效。

关键设计：ISExplore策略的关键设计在于信息量评估的三个维度：音频特征多样性、唇部运动幅度以及相机视角数量。音频特征多样性保证了模型能够学习到丰富的语音信息；唇部运动幅度保证了模型能够学习到准确的唇-音频映射；相机视角数量保证了模型能够学习到更完整的3D结构。具体实现上，可以使用预训练的音频特征提取器提取音频特征，使用人脸关键点检测算法检测唇部运动幅度，并统计视频中出现的不同相机视角数量。最终，将这三个维度的评估结果进行加权求和，得到每个片段的信息量得分。

📊 实验亮点

实验结果表明，使用ISExplore策略选择的5秒视频片段进行训练，在NeRF和3DGS方法上，数据处理和训练速度提高了5倍以上，同时保持了与使用完整参考视频相当甚至更好的生成质量。这充分证明了ISExplore策略的有效性，并为个性化说话人脸生成提供了一种更加高效的解决方案。

🎯 应用场景

该研究成果可广泛应用于数字教育、影视制作、电商直播等领域。例如，可以快速生成个性化的教学视频、电影角色配音、电商直播虚拟形象等。通过减少参考视频的处理时长，可以大大降低生成高质量说话人脸视频的门槛，使得更多用户能够轻松创建自己的虚拟形象，并应用于各种实际场景中。未来，该技术还可以与虚拟现实、增强现实等技术相结合，创造更加沉浸式的用户体验。

📄 摘要（原文）

Talking Face Generation (TFG) aims to produce realistic and dynamic talking portraits, with broad applications in fields such as digital education, film and television production, e-commerce live streaming, and other related areas. Currently, TFG methods based on Neural Radiated Field (NeRF) or 3D Gaussian sputtering (3DGS) are received widespread attention. They learn and store personalized features from reference videos of each target individual to generate realistic speaking videos. To ensure models can capture sufficient 3D information and successfully learns the lip-audio mapping, previous studies usually require meticulous processing and fitting several minutes of reference video, which always takes hours. The computational burden of processing and fitting long reference videos severely limits the practical application value of these methods.However, is it really necessary to fit such minutes of reference video? Our exploratory case studies show that using some informative reference video segments of just a few seconds can achieve performance comparable to or even better than the full reference video. This indicates that video informative quality is much more important than its length. Inspired by this observation, we propose the ISExplore (short for Informative Segment Explore), a simple-yet-effective segment selection strategy that automatically identifies the informative 5-second reference video segment based on three key data quality dimensions: audio feature diversity, lip movement amplitude, and number of camera views. Extensive experiments demonstrate that our approach increases data processing and training speed by more than 5x for NeRF and 3DGS methods, while maintaining high-fidelity output. Project resources are available at xx.