MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

📄 arXiv: 2607.15205v1 📥 PDF

作者: Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng

分类: cs.SE, cs.AI

发布日期: 2026-07-16

💡 一句话要点

提出MM-IssueLoc以解决多模态问题定位的评估挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问题定位 视觉证据 软件工程 基准评估 大语言模型 检索系统 代码库

📋 核心要点

  1. 现有的多模态软件工程基准评估将问题定位与补丁合成混合，无法明确视觉输入的作用。
  2. 本文提出MM-IssueLoc基准，专注于通过视觉证据进行代码库级问题定位，提供详细的标注和评估协议。
  3. 实验结果显示，现有系统在多模态定位任务中的表现仍然较差，最高准确率仅为38.96和22.45，表明需要进一步改进。

📝 摘要（中文）

现实中的代码库问题通常包含视觉证据，如截图、错误对话框、渲染的用户界面状态和日志，但现有的代码库级问题定位评估主要集中于文本任务。现有的多模态软件工程基准评估将定位与补丁合成混合在一起，模糊了视觉输入的作用。为此，本文提出了MM-IssueLoc，一个控制性基准和评估协议，旨在通过视觉证据进行代码库级问题定位。MM-IssueLoc包含652个问题-PR实例，涵盖23种语言，并对7种图像类别和4个相关性级别进行了注释。通过评估基于大语言模型和检索的系统，结果表明现有系统在多模态代码库定位方面仍然不够可靠。

🔬 方法详解

问题定义：本文旨在解决现有多模态问题定位评估中缺乏对视觉证据的明确考量，现有方法无法有效区分视觉输入的贡献。

核心思路：提出MM-IssueLoc基准，通过控制性评估协议，明确视觉证据在问题定位中的作用，提供结构化的文本证据。

技术框架：MM-IssueLoc包含652个问题-PR实例，涵盖23种编程语言，提供文件级和函数级的金标准标签，支持文本与图像的对比评估。

关键创新：将视觉证据转化为明确的评估变量，使得后续研究能够检验视觉输入对定位性能的影响，而非仅依赖文本线索。

关键设计：设计了7种图像类别和4个相关性级别的注释，采用VCE（Visual Contextual Evidence）方法将图像转换为结构化文本，增强了评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有系统在多模态代码库定位任务中的表现仍然不够理想，最强的代理在文件级和函数级的准确率分别为38.96和22.45，而最强的检索器在函数级的准确率为33.86。这些结果显示出高文本主导的基准得分并不能有效转移到多模态问题定位上。

🎯 应用场景

该研究的潜在应用领域包括软件工程中的问题定位、缺陷修复和代码审查等。通过明确视觉证据的作用，MM-IssueLoc能够帮助开发者更有效地定位和解决问题，提升软件开发的效率和质量。未来，随着多模态技术的发展，该基准可能会推动更多相关研究和应用的落地。

📄 摘要（原文）

Real repository issues routinely include visual evidence such as screenshots, error dialogs, rendered UI states, and logs, yet repository-level issue localization is evaluated mostly as a text-only task. Existing multimodal SE benchmarks evaluate end-to-end repair, entangling localization with patch synthesis and obscuring whether visual input helped, hurt, or was ignored. We introduce \textbf{MM-IssueLoc}, a controlled benchmark and evaluation protocol for repository-level localization with visual evidence. MM-IssueLoc contains 652 issue-PR instances across 23 languages, with annotations for 7 image categories and 4 relevance levels. It provides file-level and function-level gold labels, paired text-only and with-image evaluation, and VCE-based diagnostics that convert images into structured textual evidence. We evaluate LLM-based and retrieval-based systems, including MM-IssueLoc-VL-Emb as a controlled multimodal retriever. Results show that existing systems remain far from reliable multimodal repository localization: the strongest agent reaches 38.96 file Acc@5 and 22.45 function Acc@10, while the strongest retriever reaches 33.86 function Acc@10. Cross-benchmark comparisons show that high localization scores on text-dominant SWE benchmarks do not transfer cleanly to multimodal issue localization. MM-IssueLoc turns visual evidence into an explicit evaluation variable, enabling future work to test whether systems improve by using visual evidence for localization, rather than by relying on text-only cues or downstream patch-generation effects.