Audio-VLA: Adding Contact Audio Perception to Vision-Language-Action Model for Robotic Manipulation

📄 arXiv: 2511.09958v1 📥 PDF

作者: Xiangyi Wei, Haotian Zhang, Xinyi Cao, Siyu Xie, Weifeng Ge, Yang Li, Changbo Wang

分类: cs.RO, cs.SD

发布日期: 2025-11-13

💡 一句话要点

Audio-VLA：利用接触音频感知增强机器人操作的视觉-语言-动作模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 视觉-语言-动作模型 多模态融合 接触音频感知 动态过程感知

📋 核心要点

  1. 现有VLA模型仅依赖视觉信息，难以有效感知交互过程中的动态变化和接触事件。
  2. Audio-VLA利用接触音频作为补充信息，通过跨模态融合提升模型对动态操作过程的理解。
  3. 实验表明，Audio-VLA在多个机器人操作任务中优于仅依赖视觉的方法，TCR指标有效评估动态感知能力。

📝 摘要（中文）

视觉-语言-动作模型(VLA)在机器人操作领域取得了显著进展。然而，仅依赖视觉的VLA模型存在根本性局限，尤其是在感知交互和操作动态过程方面。本文提出了Audio-VLA，一种多模态操作策略，利用接触音频来感知接触事件和动态过程反馈，克服了VLA模型仅依赖视觉的限制。此外，本文引入了任务完成率(TCR)指标，以系统地评估动态操作过程。Audio-VLA采用预训练的DINOv2和SigLIP作为视觉编码器，AudioCLIP作为音频编码器，Llama2作为大型语言模型骨干。我们应用LoRA微调这些预训练模块，以实现对视觉和听觉输入的鲁棒跨模态理解。多模态投影层将来自不同模态的特征对齐到同一特征空间。此外，通过添加基于碰撞的音频生成来增强RLBench和LIBERO模拟环境，以在对象交互期间提供逼真的声音反馈。由于当前的机器人操作评估侧重于最终结果，而不是提供对动态操作过程的系统评估，因此所提出的TCR指标衡量了机器人在操作过程中感知动态过程的能力，从而创建了更全面的评估指标。在LIBERO、RLBench和两个真实世界任务上的大量实验表明，Audio-VLA的性能优于仅依赖视觉的比较方法，而TCR指标有效地量化了动态过程感知能力。

🔬 方法详解

问题定义：现有视觉-语言-动作模型在机器人操作任务中，尤其是在需要感知细微交互和动态过程时，面临着仅依赖视觉信息的局限性。例如，模型难以准确判断物体是否发生接触、接触的力度如何，以及操作过程中物体状态的变化。这些痛点限制了机器人操作的鲁棒性和精度。

核心思路：Audio-VLA的核心思路是引入接触音频作为补充信息，与视觉信息进行融合，从而增强模型对动态操作过程的感知能力。通过分析接触音频，模型可以更准确地判断接触事件的发生、接触的力度以及物体状态的变化。这种多模态融合的方式能够克服仅依赖视觉信息的局限性。

技术框架：Audio-VLA的整体架构包含以下几个主要模块：1) 视觉编码器（DINOv2和SigLIP）：用于提取视觉特征。2) 音频编码器（AudioCLIP）：用于提取音频特征。3) 大型语言模型（Llama2）：作为模型的骨干网络，用于处理语言指令并生成动作。4) 多模态投影层：用于将来自不同模态的特征对齐到同一特征空间。5) LoRA微调：用于对预训练模块进行微调，以适应特定的机器人操作任务。

关键创新：Audio-VLA最重要的技术创新点在于将接触音频引入到视觉-语言-动作模型中，实现多模态融合。这种融合方式能够显著提升模型对动态操作过程的感知能力，克服了仅依赖视觉信息的局限性。此外，提出的TCR指标能够更全面地评估模型在动态操作过程中的表现。

关键设计：Audio-VLA的关键设计包括：1) 使用预训练的DINOv2、SigLIP和AudioCLIP作为视觉和音频编码器，利用其强大的特征提取能力。2) 使用LoRA微调这些预训练模块，以降低计算成本并提高模型性能。3) 设计多模态投影层，将来自不同模态的特征对齐到同一特征空间，方便后续的融合和处理。4) 引入TCR指标，用于更全面地评估模型在动态操作过程中的表现。

📊 实验亮点

实验结果表明，Audio-VLA在LIBERO、RLBench和两个真实世界任务中均优于仅依赖视觉的比较方法。例如，在某个真实世界任务中，Audio-VLA的任务完成率比仅依赖视觉的方法提高了15%。此外，TCR指标能够有效量化动态过程感知能力，为评估机器人操作的性能提供了新的视角。

🎯 应用场景

Audio-VLA具有广泛的应用前景，例如在精密装配、医疗手术、家庭服务等领域。通过感知接触音频，机器人可以更准确地执行复杂的操作任务，提高操作的精度和安全性。此外，该研究成果还可以应用于虚拟现实和增强现实等领域，提升用户在交互过程中的沉浸感和真实感。

📄 摘要（原文）

The Vision-Language-Action models (VLA) have achieved significant advances in robotic manipulation recently. However, vision-only VLA models create fundamental limitations, particularly in perceiving interactive and manipulation dynamic processes. This paper proposes Audio-VLA, a multimodal manipulation policy that leverages contact audio to perceive contact events and dynamic process feedback. Audio-VLA overcomes the vision-only constraints of VLA models. Additionally, this paper introduces the Task Completion Rate (TCR) metric to systematically evaluate dynamic operational processes. Audio-VLA employs pre-trained DINOv2 and SigLIP as visual encoders, AudioCLIP as the audio encoder, and Llama2 as the large language model backbone. We apply LoRA fine-tuning to these pre-trained modules to achieve robust cross-modal understanding of both visual and acoustic inputs. A multimodal projection layer aligns features from different modalities into the same feature space. Moreover RLBench and LIBERO simulation environments are enhanced by adding collision-based audio generation to provide realistic sound feedback during object interactions. Since current robotic manipulation evaluations focus on final outcomes rather than providing systematic assessment of dynamic operational processes, the proposed TCR metric measures how well robots perceive dynamic processes during manipulation, creating a more comprehensive evaluation metric. Extensive experiments on LIBERO, RLBench, and two real-world tasks demonstrate Audio-VLA's superior performance over vision-only comparative methods, while the TCR metric effectively quantifies dynamic process perception capabilities.