EchoInk-R1: Exploring Audio-Visual Reasoning in Multimodal LLMs via Reinforcement Learning

📄 arXiv: 2505.04623v1 📥 PDF

作者: Zhenghao Xing, Xiaowei Hu, Chi-Wing Fu, Wenhai Wang, Jifeng Dai, Pheng-Ann Heng

分类: cs.CV, eess.AS

发布日期: 2025-05-07

💡 一句话要点

EchoInk-R1：利用强化学习增强多模态LLM在音视频推理中的能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 强化学习 音视频推理 跨模态融合 大型语言模型

📋 核心要点

  1. 现有的多模态大语言模型在音视频推理方面存在不足，难以有效整合音频和视觉信息进行结构化推理。
  2. EchoInk-R1利用强化学习框架，通过奖励机制引导模型学习更有效的跨模态推理策略，提升模型性能。
  3. 实验结果表明，EchoInk-R1在AVQA-R1-6K数据集上显著优于基线模型，仅需少量强化学习步骤即可实现性能提升。

📝 摘要（中文）

多模态大型语言模型(MLLM)在文本、视觉和音频方面的感知能力取得了显著进展，但它们在结构化跨模态推理方面仍然面临挑战，尤其是在整合音频和视觉信号时。本文提出了EchoInk-R1，一个强化学习框架，旨在增强MLLM的这种推理能力。EchoInk-R1建立在Qwen2.5-Omni-7B基础模型之上，并使用Group Relative Policy Optimization (GRPO)进行优化，用于解决同步音频-图像对上的多项选择问答。为此，我们创建了AVQA-R1-6K数据集，该数据集将此类音频-图像输入与源自OmniInstruct-v1的多项选择题配对。EchoInk-R1-7B在验证集上实现了85.77%的准确率，优于基础模型的80.53%，且仅使用了562个强化学习步骤。除了准确性之外，EchoInk-R1还展示了反思性推理，即在面对模糊的多模态输入时，它会重新审视初始解释并改进响应。这些结果表明，轻量级的强化学习微调可以增强MLLM中的跨模态推理能力。EchoInk-R1是第一个通过强化学习统一音频、视觉和文本模态，用于通用开放世界推理的框架。代码和数据已公开发布，以促进进一步的研究。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在音视频推理方面的不足，特别是当需要整合音频和视觉信号进行结构化推理时。现有方法难以有效地将不同模态的信息融合，导致推理准确率较低。

核心思路：论文的核心思路是利用强化学习（RL）来优化MLLM的跨模态推理能力。通过设计合适的奖励函数，鼓励模型学习如何更好地利用音频和视觉信息进行推理，从而提高模型在多模态问答任务中的准确率。

技术框架：EchoInk-R1框架基于Qwen2.5-Omni-7B基础模型构建，并使用Group Relative Policy Optimization (GRPO)算法进行优化。框架主要包含以下几个阶段：1) 数据集构建：创建AVQA-R1-6K数据集，包含音频-图像对以及基于OmniInstruct-v1生成的多项选择题；2) 模型训练：使用强化学习算法，根据模型在问答任务中的表现给予奖励或惩罚，从而优化模型参数；3) 模型评估：在验证集上评估模型性能，并与基线模型进行比较。

关键创新：该论文的关键创新在于将强化学习应用于多模态大语言模型的音视频推理任务中，并提出了EchoInk-R1框架。该框架能够有效地提升模型在跨模态推理方面的能力，使其能够更好地理解和利用音频和视觉信息。此外，论文还提出了AVQA-R1-6K数据集，为相关研究提供了新的benchmark。

关键设计：论文使用了Group Relative Policy Optimization (GRPO)算法，这是一种先进的强化学习算法，能够更有效地探索策略空间。奖励函数的设计至关重要，论文根据模型在问答任务中的准确率给予奖励，并对错误的回答进行惩罚。此外，论文还探索了不同的网络结构和参数设置，以优化模型性能。具体参数设置和网络结构细节在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EchoInk-R1-7B在AVQA-R1-6K验证集上实现了85.77%的准确率，相比于基线模型Qwen2.5-Omni-7B的80.53%有显著提升。更重要的是，该模型仅使用了562个强化学习步骤就达到了这个性能，表明该方法具有较高的效率。此外，EchoInk-R1还展示了反思性推理能力，能够根据模糊的多模态输入调整初始判断。

🎯 应用场景

该研究成果可应用于智能助手、视频理解、自动驾驶等领域。例如，智能助手可以利用该技术更好地理解用户的语音指令和视觉输入，从而提供更准确和个性化的服务。在视频理解方面，该技术可以帮助模型更好地理解视频内容，从而实现更高效的视频检索和分析。在自动驾驶领域，该技术可以帮助车辆更好地理解周围环境，从而提高驾驶安全性。

📄 摘要（原文）

Multimodal large language models (MLLMs) have advanced perception across text, vision, and audio, yet they often struggle with structured cross-modal reasoning, particularly when integrating audio and visual signals. We introduce EchoInk-R1, a reinforcement learning framework that enhances such reasoning in MLLMs. Built upon the Qwen2.5-Omni-7B foundation and optimized with Group Relative Policy Optimization (GRPO), EchoInk-R1 tackles multiple-choice question answering over synchronized audio-image pairs. To enable this, we curate AVQA-R1-6K, a dataset pairing such audio-image inputs with multiple-choice questions derived from OmniInstruct-v1. EchoInk-R1-7B achieves 85.77% accuracy on the validation set, outperforming the base model, which scores 80.53%, using only 562 reinforcement learning steps. Beyond accuracy, EchoInk-R1 demonstrates reflective reasoning by revisiting initial interpretations and refining responses when facing ambiguous multimodal inputs. These results suggest that lightweight reinforcement learning fine-tuning enhances cross-modal reasoning in MLLMs. EchoInk-R1 is the first framework to unify audio, visual, and textual modalities for general open-world reasoning via reinforcement learning. Code and data are publicly released to facilitate further research.