Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools
作者: Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang
分类: cs.CV
发布日期: 2026-07-13
💡 一句话要点
提出BEE以解决多模态推理中的计算开销问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 隐式视觉工具 自我调节机制 推理效率 细粒度感知
📋 核心要点
- 现有的多模态大语言模型在细粒度感知任务中表现出色，但面临计算开销和推理延迟的问题。
- 本文提出BEE，通过自我调节机制优化视觉工具的调用，减少冗余使用，提高推理效率。
- BEE在细粒度视觉感知任务中达到了最先进的性能，同时在推理效率上显著提升，保持了对一般推理任务的竞争力。
📝 摘要（中文）
近年来，多模态大语言模型（MLLMs）在细粒度感知任务中取得了显著进展，但现有的“图像思维”（TwI）范式依赖频繁的外部工具调用和重复的图像重新编码，导致计算开销和推理延迟显著。为了解决这些问题，本文提出了一种新颖的隐式视觉工具范式——Beyond the Eye（BEE），该范式以自我调节能力为中心，直接将视觉工具调用行为纳入训练目标，鼓励模型发展自我调节的调用机制，从而在减少冗余工具使用的同时显著降低推理延迟。BEE通过两阶段训练过程实现：首先是形式化的思维链（CoT）监督微调，其次是自我调节的奖励驱动对齐。BEE在细粒度视觉感知任务中实现了最先进的性能，同时在一般推理任务中保持竞争力，并在推理效率上取得了显著提升。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在细粒度感知任务中因频繁外部工具调用和图像重新编码导致的计算开销和推理延迟问题。
核心思路：BEE通过自我调节机制，将视觉工具调用行为直接融入训练目标，鼓励模型在内部知识与隐式工具之间自适应平衡，避免冗余工具使用。
技术框架：BEE的训练过程分为两个阶段：第一阶段是形式化的思维链（CoT）监督微调，构建结构化工具槽和混合调用状态；第二阶段是自我调节的奖励驱动对齐，利用Net Tool Gain（NTG）量化冗余工具使用并引入奖励机制。
关键创新：BEE的核心创新在于自我调节的调用机制和NTG指标的引入，显著减少了冗余工具依赖，与现有方法相比，提升了推理效率和性能。
关键设计：在训练过程中，设计了结构化的工具槽和混合调用状态，采用了自我调节奖励机制来惩罚无效的工具依赖，确保隐式工具仅在内部知识不足时被调用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BEE在细粒度视觉感知任务中达到了最先进的性能，相较于基线方法，推理效率提升了显著的百分比，且在一般推理任务中也保持了良好的竞争力。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等，能够有效提升多模态系统的推理效率和准确性。未来，BEE可能推动更高效的多模态学习和推理技术的发展，促进人工智能在复杂任务中的应用。
📄 摘要（原文）
Recent multimodal large language models (MLLMs) have made remarkable progress on fine-grained perception tasks under the "Thinking with Images" (TwI) paradigm by iteratively performing various visual tool operations. However, this paradigm relies heavily on frequent external tool calls and repeated image re-encoding, which leads to substantial computational overhead and inference latency. To address these issues, we propose Beyond the Eye (BEE), a novel implicit visual tool paradigm centered on self-regulated capability. BEE directly incorporates visual tool invocation behaviors into the training objective and encourages the model to develop a self-regulated invocation mechanism. This design enables the model to adaptively balance internal knowledge and implicit tools, avoiding redundant tool usage while substantially reducing inference latency. Specifically, BEE involves a two-stage training process: (1) Formalized Chain-of-Thought (CoT) Supervised Fine-tuning (SFT). We construct CoT trajectories with structured tool slots and mixed invocation states. This stage activates the model's implicit tool representations and adaptive switching capability. (2) Self-regulated Reward-Driven Alignment. To address redundant tool usage caused by ambiguous cognitive boundaries, we first introduce the Net Tool Gain (NTG) metric to quantify this phenomenon. Based on this observation, we further propose a self-regulated reward mechanism. This mechanism penalizes ineffective tool dependency and encourages the model to perform knowledge routing, ensuring that implicit tools are invoked only when the model's internal knowledge is insufficient. BEE achieves state-of-the-art performance in fine-grained visual perception while remaining competitive in general reasoning tasks and achieving substantial gains in inference efficiency.