CVIF: A Criticality-Driven Visual Intervention Framework for Geometric Diagram Understanding in MLLMs

📄 arXiv: 2610.06399v1 📥 PDF

作者: Jiahui Kang, Bifan Wei, Lingling Zhang, Tianwen Jiang, Qiuyong Xiao, Jihong Zhang, Jun Liu

分类: cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出CVIF框架以解决几何图表理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何图表理解 多模态大语言模型 视觉干预 自适应注意力 视觉证据重建

📋 核心要点

  1. 几何图表理解面临稀疏视觉线索和模糊符号关联的挑战，现有MLLMs方法常依赖文本信息，导致解释与视觉证据不一致。
  2. 提出的CVIF框架在推理时通过关键层的视觉干预，结合几何约束和自适应注意力机制，提升几何图表的理解能力。
  3. 在PGPS9K和PGDP5K数据集上，CVIF显著提升了整体F1得分，验证了其在几何图表理解中的有效性和创新性。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）在视觉任务上取得了显著进展，但几何图表理解仍然面临挑战，主要由于稀疏的视觉线索和模糊的符号-原始关联。MLLMs可能依赖文本先验，导致解释与视觉证据相冲突。为此，我们提出了一种无训练的关键性驱动视觉干预框架（CVIF），该方法在推理时定位关键层，并在证据聚合到语义解码的过渡过程中执行视觉干预。在这些层中，几何约束局部关系重建（GCLR）模块选择并加权以顶点为中心的视觉证据，而自适应视觉引导操作符（AVSO）则将注意力质量重新分配到所选标记上。在PGPS9K和PGDP5K上的实验表明，CVIF将整体F1从77.85提高到85.58，从75.23提高到82.84，建立了一种新的推理时视觉干预范式。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型在几何图表理解中的不足，尤其是由于稀疏视觉线索和模糊符号关联导致的解释不一致问题。现有方法往往依赖文本先验，无法充分利用视觉信息。

核心思路：提出的CVIF框架通过在推理阶段定位关键层并进行视觉干预，旨在增强模型对几何图表的理解。通过几何约束局部关系重建和自适应视觉引导，优化视觉证据的利用。

技术框架：CVIF的整体架构包括两个主要模块：几何约束局部关系重建（GCLR）模块和自适应视觉引导操作符（AVSO）。GCLR模块负责选择和加权视觉证据，而AVSO则重新分配注意力质量，以提高对关键视觉信息的关注。

关键创新：CVIF的核心创新在于其无训练的视觉干预机制，通过在推理时对关键层进行干预，显著提升了几何图表的理解能力。这一方法与传统依赖训练的视觉处理方法形成鲜明对比。

关键设计：在GCLR模块中，采用了顶点中心的视觉证据选择和加权策略，而AVSO则通过动态调整注意力分布来优化信息聚合。这些设计确保了模型在处理几何图表时能够更有效地利用视觉信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CVIF在PGPS9K和PGDP5K数据集上分别将整体F1得分提升至85.58和82.84，较之前的77.85和75.23有显著提高，验证了其在几何图表理解中的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、工程设计和数据可视化等领域，尤其是在需要解析复杂几何图表的场景中。CVIF框架的实际价值在于提升模型对视觉信息的理解能力，未来可能推动更智能的图表分析工具的发展。

📄 摘要（原文）

Despite significant progress in visual tasks by Multimodal Large Language Models (MLLMs), geometric diagram understanding remains challenging due to the presence of sparse visual cues and ambiguous symbol-primitive associations. MLLMs may therefore rely on textual priors, producing interpretations that conflict with visual evidence. We introduce the training-free Criticality-Driven Visual Intervention Framework (CVIF), an inference-time method that localizes critical layers and executes visual interventions during the transition from evidence aggregation to semantic decoding. At these layers, a Geometry-Constrained Local Relation Reconstruction (GCLR) module selects and weights vertex-centered visual evidence, while an Adaptive Visual Steering Operator (AVSO) redistributes attention mass toward the selected tokens. Experiments on PGPS9K and PGDP5K show that CVIF raises Overall F1 from 77.85 to 85.58 and from 75.23 to 82.84, respectively, establishing a novel inference-time visual intervention paradigm.