NeuroLip: An Event-driven Spatiotemporal Learning Framework for Cross-Scene Lip-Motion-based Visual Speaker Recognition
作者: Junguang Yao, Wenye Liu, Stjepan Picek, Yue Zheng
分类: cs.CV, cs.AI, cs.CR, cs.DB, cs.LG
发布日期: 2026-04-17
🔗 代码/项目: GITHUB
💡 一句话要点
NeuroLip：一种事件驱动的时空学习框架，用于跨场景的唇动视觉说话人识别
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视觉说话人识别 唇动识别 事件相机 时空学习 跨场景泛化
📋 核心要点
- 传统视觉说话人识别依赖表观信息，易受环境变化影响。唇动蕴含个体特有的行为动态，对环境变化更具鲁棒性，但难以用传统相机捕捉。
- NeuroLip利用事件相机捕捉精细唇动，设计时间感知体素编码、结构感知空间增强和极性一致性正则化模块，提升跨场景泛化能力。
- DVSpeaker数据集上的实验表明，NeuroLip在跨视角和低光照条件下显著优于现有方法，验证了其有效性和鲁棒性。
📝 摘要（中文）
本文提出NeuroLip，一个基于事件的框架，用于唇动视觉说话人识别。该方法旨在利用唇动的内在稳定性，并解决传统帧相机在捕捉精细动态时面临的运动模糊和低动态范围问题。NeuroLip包含：1)具有自适应事件加权的时间感知体素编码模块；2)结构感知空间增强器，通过抑制噪声并保留垂直结构化的运动信息来放大判别性行为模式；3)极性一致性正则化机制，以保留事件极性中编码的运动方向线索。此外，本文还构建了DVSpeaker数据集，包含50名受试者在四种不同视角和光照条件下的唇动数据。实验结果表明，NeuroLip在匹配场景中实现了接近完美的准确率，并在未见过的视角和低光照条件下表现出强大的跨场景泛化能力，优于现有方法至少8.54%。数据集和代码已公开。
🔬 方法详解
问题定义：现有的视觉说话人识别方法通常依赖于基于帧的相机，这些相机在捕捉快速运动和处理光照变化方面存在局限性，导致在跨场景条件下的性能下降。此外，传统方法侧重于表观特征，忽略了唇动中蕴含的个体特有的行为动态信息。
核心思路：NeuroLip的核心思路是利用事件相机捕捉唇部的精细运动信息，并设计专门的模块来处理事件数据的特性，从而实现鲁棒的跨场景视觉说话人识别。通过时间感知的体素编码、结构感知的空间增强以及极性一致性正则化，模型能够更好地提取和利用唇动中的判别性特征。
技术框架：NeuroLip框架主要包含三个模块：1) 时间感知体素编码模块：将事件流转换为体素表示，并根据事件的时间信息进行加权，以突出重要的时间动态。2) 结构感知空间增强器：利用卷积神经网络提取空间特征，并设计特殊的结构来抑制噪声，同时保留垂直方向上的运动信息。3) 极性一致性正则化：通过约束事件极性的一致性，保留运动方向的信息，提高模型的鲁棒性。整个框架以端到端的方式进行训练。
关键创新：NeuroLip的关键创新在于其针对事件数据的特性，设计了专门的模块来提取和利用唇动中的判别性信息。与传统方法相比，NeuroLip能够更好地处理运动模糊和光照变化等问题，从而实现更鲁棒的跨场景视觉说话人识别。此外，极性一致性正则化也是一个重要的创新点，它能够有效地保留运动方向的信息。
关键设计：时间感知体素编码模块使用自适应事件加权，根据事件的时间戳调整权重。结构感知空间增强器使用特殊的卷积核来保留垂直方向上的运动信息。极性一致性正则化通过最小化事件极性与其预测极性之间的差异来实现。损失函数包括交叉熵损失和极性一致性损失。网络结构细节（如卷积层数、滤波器大小等）未知。
🖼️ 关键图片
📊 实验亮点
NeuroLip在DVSpeaker数据集上取得了显著的成果。在匹配场景下，NeuroLip实现了接近完美的准确率。在跨视角和低光照条件下，NeuroLip的准确率分别超过71%和76%，相比现有方法至少提升了8.54%。这些结果表明，NeuroLip具有强大的跨场景泛化能力和鲁棒性。
🎯 应用场景
NeuroLip在无声环境下的身份验证、人机交互、安全监控等领域具有广泛的应用前景。例如，在嘈杂或禁止语音的环境中，可以通过唇动识别说话人身份。该技术还可以应用于辅助听力障碍人士的交流，以及开发更自然、更安全的生物特征识别系统。未来，该技术有望与语音识别等其他模态相结合，实现更准确、更可靠的身份验证。
📄 摘要（原文）
Visual speaker recognition based on lip motion offers a silent, hands-free, and behavior-driven biometric solution that remains effective even when acoustic cues are unavailable. Compared to traditional methods that rely heavily on appearance-dependent representations, lip motion encodes subject-specific behavioral dynamics driven by consistent articulation patterns and muscle coordination, offering inherent stability across environmental changes. However, capturing these robust, fine-grained dynamics is challenging for conventional frame-based cameras due to motion blur and low dynamic range. To exploit the intrinsic stability of lip motion and address these sensing limitations, we propose NeuroLip, an event-based framework that captures fine-grained lip dynamics under a strict yet practical cross-scene protocol: training is performed under a single controlled condition, while recognition must generalize to unseen viewing and lighting conditions. NeuroLip features a 1) Temporal-aware Voxel Encoding module with adaptive event weighting, 2) Structure-aware Spatial Enhancer that amplifies discriminative behavioral patterns by suppressing noise while preserving vertically structured motion information, and 3) Polarity Consistency Regularization mechanism to retain motion-direction cues encoded in event polarities. To facilitate systematic evaluation, we introduce DVSpeaker, a comprehensive event-based lip-motion dataset comprising 50 subjects recorded under four distinct viewpoint and illumination scenarios. Extensive experiments demonstrate that NeuroLip achieves near-perfect matched-scene accuracy and robust cross-scene generalization, attaining over 71% accuracy on unseen viewpoints and nearly 76% under low-light conditions, outperforming representative existing methods by at least 8.54%. The dataset and code are publicly available at https://github.com/JiuZeongit/NeuroLip.