What, When, and How: Audio Description as Constrained Global Optimization
作者: Igor Sterner, Mirella Lapata, Alex Lascarides, Frank Keller
分类: cs.CL, cs.CV
发布日期: 2026-09-24
💡 一句话要点
提出音频描述的约束全局优化方法以解决生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频描述 约束优化 大型语言模型 叙述质量 时间约束
📋 核心要点
- 现有的自动音频描述系统将生成视为局部问题，未能有效处理叙述内容的重要性与时间安排的耦合决策。
- 本文提出将音频描述生成形式化为约束优化问题，利用大型语言模型评估视觉元素的重要性并生成描述。
- 在REFRAMED基准测试中，提出的方法在叙述质量和时间度量上超越了现有的提示LLM，显示出显著的性能提升。
📝 摘要（中文）
音频描述（AD）通过在对话间隙叙述视觉信息，使盲人和视力障碍观众能够欣赏电影。现有的自动AD系统主要将生成视为局部视频到文本的问题，假设描述内容和时间位置已知。然而，现实中的AD需要对叙述重要的视觉信息、何时发声以及如何表述进行耦合决策。本文将AD生成形式化为一个关于这三项决策的约束优化问题。我们的混合系统利用大型语言模型提出并确定视觉元素，评估其叙述的重要性，并生成压缩的描述。通过混合整数线性规划，系统在时间约束下联合选择和安排场景中的描述。在REFRAMED基准测试中，我们的方法在叙述质量和时间度量上超越了提示的LLM，建立了新的SOTA。消融实验表明，显式的时间约束推动了位置选择的提升，而重要性估计则控制了保留的叙述内容。
🔬 方法详解
问题定义：本文旨在解决音频描述生成中的耦合决策问题，现有方法未能有效处理叙述内容的重要性、发声时机及表述方式的综合考虑。
核心思路：通过将音频描述生成形式化为约束优化问题，结合大型语言模型的能力，系统能够更好地评估视觉信息的重要性并生成合适的描述。
技术框架：整体架构包括三个主要模块：首先，使用大型语言模型提出和确定视觉元素；其次，评估这些元素的叙述重要性；最后，利用混合整数线性规划在时间约束下选择和安排描述。
关键创新：最重要的技术创新在于将音频描述生成视为一个全局优化问题，而非局部生成任务，从而实现了更合理的叙述内容选择与时间安排。
关键设计：在系统设计中，采用了显式的时间约束来驱动描述的选择，同时通过重要性估计控制保留的叙述内容，确保生成的描述既符合叙述逻辑又不干扰对话。
🖼️ 关键图片
📊 实验亮点
在REFRAMED基准测试中，提出的方法在叙述质量和时间度量上超越了提示的LLM，建立了新的SOTA。消融实验表明，显式的时间约束显著提升了描述的时间安排，重要性估计则有效控制了叙述内容的保留，尽管与专业描述者仍存在显著差距。
🎯 应用场景
该研究的潜在应用领域包括电影、电视及其他视觉媒体的音频描述生成，能够显著提升盲人和视力障碍者的观影体验。未来，该方法还可扩展到其他多模态内容生成任务，如教育视频和在线课程的辅助描述，具有广泛的社会价值和影响力。
📄 摘要（原文）
Audio Description (AD) makes movies accessible to blind and visually impaired audiences by narrating visual information in gaps between dialogue. Existing automatic AD systems largely treat generation as a local video-to-text problem, assuming that the content to describe and its temporal location are already provided. Realistic AD instead requires coupled decisions about what visual information is narratively important, when it can be spoken without interfering with dialogue, and how it should be formulated to fit within the available time. We formalize AD generation as a constrained optimization problem over these three decisions. Our hybrid system uses large language models to propose and ground visual elements, estimate their salience to the narrative, and generate compressed realizations. A mixed-integer linear program then jointly selects and schedules descriptions across a scene subject to temporal constraints. When evaluated on REFRAMED, a benchmark for realistic AD of movies, our approach makes better decisions than prompted LLMs about what to describe and when to describe it, establishing a new SOTA on narrative QA and temporally grounded metrics. Ablations show that explicit temporal constraints drive gains in placement, while salience estimation controls how much narratively useful content is retained. Improvements are concentrated on temporal and narrative measures rather than n-gram overlap, although a significant gap to professional describers remains.