LocalAgent: Collaborative Agentic Verification for Fine-Grained Instance-Level Consistency

📄 arXiv: 2610.29174v1 📥 PDF

作者: Jiachen Guo, Xinshan Zhu, Boyun Wang, Yanyan Liang, Jun Wan, Feng Lin, Ajian Liu

分类: cs.CV

发布日期: 2026-10-21

备注: 22 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出LocalAgent以解决细粒度实例级一致性验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 实例级一致性 细粒度验证 局部证据验证 强化微调 视觉理解 图像匹配

📋 核心要点

  1. 现有的多模态大型语言模型在细粒度实例级一致性验证中表现不佳，难以处理不同视角和光照下的相似物体。
  2. 论文提出LocalAgent框架，通过结合MLLM的全局推理与局部证据验证器，提升了细粒度验证的准确性。
  3. 实验结果显示，LocalAgent在仅对12.13%的样本调用验证器的情况下，平均准确率提高了4.9%。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在一般视觉理解上取得了快速进展，但在细粒度实例级一致性验证方面仍面临挑战。该任务旨在判断两幅图像是否描绘了在不同视角、光照和背景下的同一物体。为了解决这一问题，本文提出了LocalAgent，一个协作代理框架，结合了通用MLLM和轻量级专家验证器的优势。MLLM首先进行全局推理以识别可疑局部区域，然后将这些区域委托给局部证据验证工具包（LEV）进行细粒度外观和几何匹配。实验表明，LocalAgent在保持通用多模态能力的同时，平均准确率提高了4.9%。

🔬 方法详解

问题定义：本文旨在解决细粒度实例级一致性验证问题，现有方法在处理不同视角和光照下的相似物体时存在局限性，难以准确判断是否为同一物体。

核心思路：LocalAgent框架通过将全局推理与局部验证相结合，首先识别可疑区域，然后进行细粒度的外观和几何匹配，从而提高验证的准确性。

技术框架：整体架构包括一个通用的MLLM和一个局部证据验证工具包（LEV）。MLLM负责全局推理，LEV则包含局部外观一致性（LAC）和局部几何对应（LGC）模块，分别处理外观和几何匹配。

关键创新：最重要的创新在于引入了协作代理机制，将MLLM与轻量级验证器结合，显著提升了细粒度验证的能力，与传统方法相比，能够更有效地处理复杂的视觉一致性问题。

关键设计：在设计上，LEV模块通过局部外观一致性和局部几何对应来估计相似性，采用了结构化标量证据返回给MLLM，此外还引入了辅助限制的强化微调策略，以优化验证过程中的决策能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LocalAgent在仅对12.13%的样本调用验证器的情况下，平均准确率提高了4.9%，相较于最强的CoT-RFT基线，展现了显著的性能提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、物体识别和视觉问答等任务，能够在多模态环境中提高物体一致性验证的准确性，具有重要的实际价值。未来，该方法可能推动更复杂的视觉理解任务的发展，提升智能系统的可靠性。

📄 摘要（原文）

Multimodal large language models (MLLMs) have made rapid progress in general visual understanding, yet they still struggle with fine-grained instance-level consistency verification, where the goal is to determine whether two images depict the exact same physical object under varying viewpoints, illumination, and backgrounds. This task requires both global semantic perception and precise examination of subtle local evidence, since semantically similar objects may differ only in small suspicious regions. To address this challenge, we propose LocalAgent, a collaborative agentic framework that integrates the complementary strengths of a generalist MLLM and lightweight specialist verifiers. The MLLM first reasons globally to identify suspicious local regions, which are then delegated to a Local Evidence Verifier (LEV) toolkit for fine-grained appearance and geometric matching. LEV comprises Local Appearance Consistency (LAC), which estimates appearance similarity under illumination and color changes, and Local Geometric Correspondence (LGC), which estimates spatial correspondence under viewpoint changes. LEV returns structured scalar evidence that the MLLM integrates for the final decision. We further introduce an auxiliary-capped reinforcement fine-tuning (RFT) strategy, in which answer correctness dominates auxiliary tool-use and format signals, enabling the policy to learn when verification is necessary. Experiments show that LocalAgent improves mean accuracy by 4.9% over the strongest CoT-RFT baseline while invoking a verifier on only 12.13% of samples and preserving the general multimodal capabilities of the underlying MLLM. The open-source repository is available at https://github.com/Firefly-zoo/LocalAgent-main.