SAGE: Sense-Aligned Multimodal Grounding Evaluation with Gloss-Augmented Reasoning

📄 arXiv: 2610.31838v1 📥 PDF

作者: Sunjae Kwon, Suhaas Kiran DG, Zonghai Yao, Talha Chafekar, Deepali Singh, Hong Yu

分类: cs.CL, cs.CV

发布日期: 2026-10-22

💡 一句话要点

提出SAGE以解决多模态基础评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基础评估 语义推理 图像与文本 增强定义推理 评估框架 计算机视觉 自然语言处理

📋 核心要点

  1. 现有的多模态基础评估方法在处理复杂的语义推理时存在不足，无法有效评估图像与文本之间的深层次关系。
  2. 论文提出的SAGE框架通过引入感知对齐的评估标准，结合定义基础和约束引导推理，提供了一种新的评估方式。
  3. 实验结果显示，SAGE在多个基准上均取得了显著提升，特别是在VerSe数据集上，Hits@1从65.90提升至71.22，展示了其有效性。

📝 摘要（中文）

本文提出了感知对齐的基础评估（SAGE），这是一个统一的10候选图像选择基准，重新构建了VWSD、VerSe和WikiDiverse，采用共享的以术语为中心的协议，涵盖名词、动词和实体中心的基础评估。SAGE包括混淆的困难负样本和上下文交换的VerSe诊断，以探测目标术语的基础评估，超越直接的标题与图像兼容性。我们进一步提出了增强定义推理（GAR），这是一个无训练框架，结合了定义基础与约束引导的语义验证。实验表明，强大的VWSD性能并未在基础评估设置中均匀转移。使用Gemma3-12B，定义增强改善了所有三个子集，而约束引导推理提高了VWSD，并在VerSe上取得了显著提升，但在WikiDiverse上效果较差。将两者结合实现了最佳的宏平均性能，将Hits@1从65.90提升至71.22。这些结果表明，SAGE支持统一评估和对基础评估设置中显式语义推理的细致分析。

🔬 方法详解

问题定义：本文旨在解决现有多模态基础评估方法在语义推理能力上的不足，尤其是在图像与文本的深层次关系评估方面。现有方法往往无法处理复杂的语义关系，导致评估结果不够准确。

核心思路：SAGE框架通过引入感知对齐的评估标准，重新构建了多个基准数据集，并结合定义基础和约束引导推理，旨在提升基础评估的准确性和有效性。这样的设计使得模型能够更好地理解和推理图像与文本之间的关系。

技术框架：SAGE的整体架构包括多个模块，首先是基于术语的评估标准，其次是引入混淆的困难负样本和上下文交换的诊断，最后结合增强定义推理（GAR）进行语义验证。

关键创新：SAGE的核心创新在于其统一的评估框架和引入的定义增强推理，能够在不同的基础评估设置中进行有效的语义推理，与现有方法相比，提供了更为细致的分析能力。

关键设计：在设计上，SAGE使用了Gemma3-12B作为基础模型，定义增强通过引入额外的语义信息来提升模型性能，而约束引导推理则通过特定的损失函数和网络结构来优化语义验证过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAGE在多个基准上表现优异，特别是在VerSe数据集上，Hits@1从65.90提升至71.22，表明定义增强和约束引导推理的结合显著提高了模型的基础评估性能。这些结果验证了SAGE在多模态基础评估中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升图像与文本之间的语义理解能力，SAGE可以在图像检索、智能问答和自动图像标注等实际场景中发挥重要作用，未来可能对多模态AI系统的设计和评估产生深远影响。

📄 摘要（原文）

This paper introduces Sense-Aligned Grounding Evaluation (SAGE), a unified 10-candidate image-selection benchmark that reformulates VWSD, VerSe, and WikiDiverse into a shared term-centric protocol covering noun-, verb-, and entity-centered grounding. SAGE includes confusable hard negatives and a context-swapped VerSe diagnostic to probe target-term grounding beyond direct caption--image compatibility. We further propose Gloss-Augmented Reasoning (GAR), a training-free framework combining definition grounding with constraint-guided semantic verification. Experiments show that strong VWSD performance does not transfer uniformly across grounding settings. With Gemma3-12B, definition augmentation improves all three subsets, while constraint-guided reasoning improves VWSD and yields particularly strong gains on VerSe, but is less effective on WikiDiverse. Combining the two signals achieves the best macro-average performance, improving Hits@1 from 65.90 to 71.22. These results show that SAGE supports both unified evaluation and fine-grained analysis of explicit semantic reasoning across grounding settings.