Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering

📄 arXiv: 2610.20085v1 📥 PDF

作者: Yi Wang, Tianzi Wang, Tong Lei, Dahan Wang, Peter Bell

分类: cs.AI, cs.CL, eess.AS

发布日期: 2026-10-14

备注: Submitted to IEEE ICASSP 2027

💡 一句话要点

设计文本接口以增强音视频问答中的LLM推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频问答 多模态推理 提示优化 文本接口设计 大语言模型

📋 核心要点

  1. 现有的音视频理解系统在多模态推理的文本接口设计上存在不足，限制了提示优化的有效性。
  2. 论文提出通过设计不同的文本接口来优化多模态推理，比较直接推理、字幕生成-推理和代理架构三种设计。
  3. 实验结果显示，直接提示优化在特定模型上有显著提升，而其他两种系统提供了更好的可解释性，但优化更具挑战性。

📝 摘要（中文）

自动提示优化（APO）在文本基础的LLM和LLM系统中表现出强大的有效性，但其在音视频理解系统中的应用需要合适的文本接口，以便将多模态推理暴露给基于文本的优化器。本文研究了文本接口的设计如何影响多模态推理的提示优化，重点在音视频问答任务上。我们比较了三种接口设计，包括由单一全模态大语言模型（OmniLLM）组成的直接推理系统、一个字幕生成-推理系统，以及一个主代理协调子代理OmniLLMs的代理架构。实验结果表明，直接提示优化提供了模型依赖性的增益，而字幕生成-推理系统和代理系统则暴露了更可解释的优化接口，但优化难度更大。我们的研究强调了文本接口设计在使提示优化对全模态推理系统有效的重要性。

🔬 方法详解

问题定义：本文旨在解决音视频问答任务中，现有方法在多模态推理的文本接口设计不足的问题，导致提示优化效果不佳。

核心思路：通过设计不同的文本接口，探索其对多模态推理的提示优化影响，特别是如何使优化过程更有效和可解释。

技术框架：整体架构包括三种主要模块：直接推理系统（OmniLLM）、字幕生成-推理系统和代理架构。每种设计都有其独特的优化流程和接口。

关键创新：最重要的创新在于提出了多种文本接口设计，特别是代理架构的引入，使得多个子代理可以协同工作，从而提升了推理的灵活性和可解释性。

关键设计：在设计中，考虑了不同接口的优化难度、可解释性和模型依赖性，具体参数设置和损失函数的选择也进行了详细探讨，以确保优化过程的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，直接提示优化在特定模型上提供了显著的性能提升，尤其是在Qwen3-Omni和Gemini模型上，优化效果明显优于传统方法，展示了文本接口设计的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、教育技术和多媒体内容分析等。通过优化音视频问答系统的推理能力，可以提升用户体验和信息获取效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Automatic prompt optimization (APO) has shown strong effectiveness for text-based LLMs and LLM systems, but its application to audio-visual understanding systems requires suitable textual interfaces through which multimodal reasoning can be exposed to text-based optimizers. We investigate how the design of textual interfaces affects prompt optimization for multimodal reasoning, on the audio-visual question answering task. We compare three interface designs, including a direct inference system consisting of a single omni-modal large language model (OmniLLM), a captioner-reasoner system, and an agentic architecture in which a primary agent orchestrates subagent OmniLLMs. Experiments with Qwen3-Omni and Gemini show that direct prompt optimization provides model-dependent gains; the captioner-reasoner system and the agentic system expose more interpretable optimization interfaces but are harder to optimize, where error analysis of cases affected by optimization is conducted. Our study highlights textual interface design as an important factor in making prompt optimization effective for omni-modal reasoning systems. Our implementation details are specified in GitHub repo.