Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search
作者: Khubaib Ahmed, Ahsan Adeel, Nasir Saleem, Kia Dashtipour, Ahsan Ulhaq, Amir Hussain
分类: cs.SD, cs.AI, eess.AS
发布日期: 2026-10-08
💡 一句话要点
提出基于强化学习的神经架构搜索以实现高效音视频语音增强
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音视频语音增强 强化学习 神经架构搜索 模型压缩 实时处理
📋 核心要点
- 现有的音视频语音增强方法通常依赖于计算开销大的模型，难以在资源受限的边缘设备上应用。
- 本文提出了一种基于强化学习的神经架构搜索框架，旨在发现紧凑且高效的音视频语音增强架构。
- 实验结果显示，所提架构在保持语音增强性能的同时，模型大小减少约九倍，实时因子降低4.3倍，展示了良好的实际应用潜力。
📝 摘要（中文）
音视频语音增强（AVSE）在嘈杂环境中提高语音可懂度，但现有模型通常计算开销大，不适合资源受限的边缘设备。本文提出了一种基于强化学习的神经架构搜索（RL-NAS）框架，以发现紧凑高效的AVSE架构。该搜索空间保持音频与视觉流之间的时间对齐，同时通过新颖的奖励函数共同优化语音增强性能（以SI-SNR改善度量）和模型紧凑性。使用约束感知的动作屏蔽的近端策略优化，框架仅评估35个候选架构，识别出一个具有290万参数的模型，相较于基线的2200万参数，模型大小减少约九倍。所提架构实现了14.5 dB的SI-SNR改善，仅比基线低0.7 dB，同时在商业移动CPU上的实时因子降低了4.3倍，支持实际的设备部署。与随机搜索相比，RL-NAS实现了92%的搜索效率提升。
🔬 方法详解
问题定义：本文旨在解决音视频语音增强（AVSE）中现有模型计算开销大、难以在边缘设备上部署的问题。现有方法通常需要大量计算资源，限制了其在实际应用中的可行性。
核心思路：论文提出了一种基于强化学习的神经架构搜索（RL-NAS）框架，通过优化模型架构来实现高效的语音增强。该框架通过设计奖励函数，平衡语音增强性能与模型紧凑性，确保在减少参数量的同时保持性能。
技术框架：RL-NAS框架包括多个阶段：首先定义搜索空间，保持音频与视觉流的时间对齐；其次使用强化学习算法（如近端策略优化）进行架构搜索；最后评估候选架构的性能，选择最佳模型。
关键创新：该研究的主要创新在于引入了强化学习驱动的架构搜索方法，显著提高了搜索效率（92%）并减少了模型参数（290万 vs. 2200万），与传统的随机搜索方法相比，具有更高的效率和效果。
关键设计：在设计中，采用了新颖的奖励函数来共同优化SI-SNR改善和模型紧凑性，同时通过约束感知的动作屏蔽来限制搜索空间，确保搜索过程的高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提架构在SI-SNR改善上达到了14.5 dB，仅比基线低0.7 dB，同时模型参数量减少至290万，实时因子降低4.3倍，显示出良好的实际应用潜力和效率。
🎯 应用场景
该研究的潜在应用领域包括移动设备上的语音助手、智能家居设备以及其他需要在嘈杂环境中进行语音交互的场景。通过实现高效的音视频语音增强，能够显著提升用户体验，推动智能设备的普及与应用。
📄 摘要（原文）
Audio-visual speech enhancement (AVSE) improves speech intelligibility in noisy environments but often relies on computationally expensive models unsuitable for resource-constrained edge devices. This paper introduces a reinforcement learning-driven neural architecture search (RL-NAS) framework to discover compact, efficient AVSE architectures. The search space preserves temporal alignment between audio and visual streams, while a novel reward function jointly optimises speech enhancement performance, measured by SI-SNR improvement, and model compactness. Using proximal policy optimisation with constraint-aware action masking, the framework evaluates only 35 candidate architectures and identifies a model with 2.9 million parameters, compared with 22 million in the baseline. The proposed architecture achieves a 14.5 dB SI-SNR improvement, only 0.7 dB below the baseline, while reducing model size by approximately nine-fold. Evaluation on commercial mobile CPUs demonstrates a 4.3-fold reduction in real-time factor, supporting practical on-device deployment. Compared with random search, RL-NAS achieves 92% higher search efficiency. Architectural analysis reveals that shallower but wider temporal convolutional blocks and aggressive visual pathway pruning can maintain enhancement performance while substantially reducing computational requirements. These findings demonstrate the potential of reinforcement learning-guided architecture search for developing lightweight, efficient and deployable multimodal speech enhancement systems.