When History Helps and Hurts: Selective History Use across Multimodal Turns
作者: Shuoyang Sun, Kerui Gu, Hao Fang, Shaoli Huang, Bin Chen
分类: cs.CL
发布日期: 2026-10-08 (更新: 2026-10-09)
💡 一句话要点
提出ReTurn基准以解决多模态历史信息选择性使用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态交互 选择性历史使用 ReTurn基准 视觉和音频证据 开放式评估
📋 核心要点
- 现有多轮对话评估方法未能有效区分历史信息使用与问题难度之间的关系，导致评估结果不准确。
- 本文提出ReTurn基准，通过7000个任务评估多模态模型在选择性历史使用上的表现，涵盖视觉和音频证据。
- 实验显示，模型在开放式任务中的准确率显著下降，且高问题回忆率与任务应用能力之间存在矛盾。
📝 摘要（中文）
可靠的多模态交互依赖于对对话历史的选择性使用：早期问题可能仍然相关，而其先前答案可能已过时。现有的多轮评估很少将历史使用需求与问题难度分开。为了解决这一问题，本文提出了ReTurn，一个包含7000个基础任务的基准，涵盖视觉和音频证据，以评估选择性历史使用。任务支持开放式和多选评估，并提供与单轮任务相匹配的参考答案。实验结果表明，在多模态模型中，开放式准确率从93.7%降至72.3%。
🔬 方法详解
问题定义：本文旨在解决多模态对话中历史信息选择性使用的问题，现有方法未能有效评估历史信息的相关性与应用能力。
核心思路：通过引入ReTurn基准，设计多种任务以评估模型在不同历史信息使用场景下的表现，确保任务的多样性和针对性。
技术框架：ReTurn基准包含两类任务：任务承载历史（Reconfirm/Reground）和证据承载历史（Retrieve/Rebind），每类任务均保持目标问题、媒体和答案的一致性。
关键创新：ReTurn基准的创新在于其系统性地评估多模态模型在历史信息选择性使用上的能力，填补了现有评估方法的空白。
关键设计：任务设计中考虑了历史一致性和当前媒体竞争等因素，采用开放式和多选评估方式，确保评估的全面性和准确性。实验中使用的模型包括13种多模态、视觉语言和音频语言模型。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在直接输入时的开放式准确率为93.7%，而在对话中降至72.3%。此外，行为探测表明高问题回忆率与较弱的任务应用能力共存，竞争媒体会导致答案偏离历史目标。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动问答系统和多模态交互界面等。通过提高模型对历史信息的选择性使用能力，可以显著提升用户体验和交互效率，推动智能系统的实际应用和发展。
📄 摘要（原文）
Reliable multimodal interaction depends on selective use of conversational history: an earlier question may remain relevant while its previous answer is outdated, whereas a current request may depend on historical evidence despite conflicting new observations. Existing multi-turn evaluations rarely separate these history-use demands from underlying question difficulty. To address this gap, we introduce ReTurn, a benchmark of 7,000 base tasks spanning visual and audio evidence for evaluating selective history use. For task-carrying history, Reconfirm/Reground require applying a historical question to current media while varying historical agreement; for evidence-carrying history, Retrieve/Rebind require answering a current question using historical media while varying current-media competition. Each pair preserves the target question, media, and answer. Tasks support open-ended and multiple-choice evaluation, with matched single-turn counterparts serving as answerability references. Across 13 omni-modal, vision-language, and audio-language models, median model-level open-ended accuracy falls from 93.7% with direct input to 72.3% in conversation. Behavioral probes show that high question recall can coexist with weaker task application, while competing media can redirect answers away from historical targets. Supervised adaptation yields only partial gains. ReTurn provides a controlled framework for assessing whether multimodal models select and use the historical information required by each request.