VLM-in-Sandbox: Visual Workspaces for Agentic Visual Reasoning
作者: Hexiong Yang, Mingrui Chen, Jie Cao, Ran He
分类: cs.AI
发布日期: 2026-09-21
💡 一句话要点
提出VLM-in-Sandbox以解决多模态视觉推理中的状态管理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉证据管理 沙盒环境 视觉工作区 状态管理 智能助手 自动化内容生成
📋 核心要点
- 现有的多模态视觉推理方法在状态管理上存在挑战，尤其是在生成大量中间视觉证据时，容易导致上下文信息的无界累积。
- VLM-in-Sandbox框架通过视觉工作区管理生成的视觉证据，保持有界的上下文，并允许模型选择性地促进证据的后续检查，从而解决了状态管理问题。
- 在七个基准测试中，VLM-in-Sandbox在准确率上超过了多种对比方法，并且在资源使用上表现出更高的效率，减少了总令牌数。
📝 摘要（中文）
论文提出了VLM-in-Sandbox，一个无需训练的框架，旨在支持在受控计算环境中进行多模态推理。该框架通过视觉工作区管理生成的视觉证据，保持有界的视觉上下文，并允许模型显式选择证据进行后续检查。实验结果表明，VLM-in-Sandbox在多个基准测试中表现优异，准确率高于现有方法，且在资源使用上更为高效。
🔬 方法详解
问题定义：论文要解决的具体问题是多模态视觉推理中的状态管理，现有方法在生成中间视觉证据时容易导致上下文信息的无界累积，从而影响推理效果。
核心思路：VLM-in-Sandbox的核心解决思路是通过视觉工作区来管理生成的视觉证据，保持有界的视觉上下文，并允许模型显式选择证据进行后续检查，从而有效分离视觉证据的生成与管理。
技术框架：整体架构包括视觉工作区模块，该模块记录生成的视觉证据，并维护一个有界的活动视觉上下文。模型通过该模块促进选定证据的后续检查，确保信息的有效管理。
关键创新：最重要的技术创新点在于引入了视觉证据状态的显式管理，作为沙盒化VLM代理的核心抽象，这一设计与现有方法的状态管理方式有本质区别。
关键设计：在设计中，框架采用了特定的参数设置和损失函数，以确保视觉证据的有效生成与管理，同时优化了网络结构以适应多模态输入的处理需求。通过这些设计，VLM-in-Sandbox能够在保持高准确率的同时，减少资源消耗。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VLM-in-Sandbox在七个基准测试中实现了最高的样本加权平均准确率，相较于传统方法减少了18.6%的总令牌数，准确率达到66.27%。此外，在1,260个示例的研究中，模型导向的可见性与有界保留的分离进一步验证了该框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化内容生成和复杂任务的视觉推理等。通过有效管理视觉证据，VLM-in-Sandbox能够在多模态交互中提供更高效的支持，提升用户体验和系统性能，未来可能在教育、医疗和机器人等领域产生深远影响。
📄 摘要（原文）
Sandboxed computer environments support multi-step reasoning with tools, executable programs, and persistent files, yet their extension from language models to vision-language models (VLMs) introduces a distinct state-management problem. Visual reasoning produces intermediate image-valued evidence---crops, masks, overlays, zoomed regions, and analytic renderings---that must remain addressable without accumulating unboundedly in multimodal context. We introduce VLM-in-Sandbox, a training-free framework for agentic multimodal reasoning in controlled computer environments. Its Visual Workspace registers generated artifacts in an image ledger, maintains a bounded active visual context, and lets the model explicitly promote selected evidence for subsequent inspection. This separates visual evidence generation, performed by sandbox tools, from visual evidence management. Across seven benchmarks and four base VLMs, VLM-in-Sandbox achieves the highest sample-weighted average accuracy among Vanilla VLM, Append-only Sandbox, and the proposed method. A compiler-matched $2\times2$ study on 1,260 examples further separates model-directed visibility from bounded retention: VLM-in-Sandbox reaches 66.27% accuracy with 18.6% fewer total tokens than the automatic, retain-all control. Over all 6,350 submitted GPT-4.1-mini examples, it produces 302 rescues and 142 regressions relative to Original Append-only. A local vLLM study with prefix caching confirms that the smaller request workload also reduces uncached tokens, time to first token, and end-to-end latency. These results identify explicit visual evidence state as a central abstraction for sandboxed VLM agents.