Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
作者: Tong Zhu, Zhe Xu, Zefeng He, Yunkai Chai, Xuyang Hu, Dehong Zheng, Yun Luo, Yafu Li, Qi Zhang, Yu Cheng
分类: cs.CL
发布日期: 2026-10-15
💡 一句话要点
提出Intern-Decision以提升多模态决策效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态决策 自回归模型 掩蔽语言建模 智能代理 结构化输出
📋 核心要点
- 现有的多模态决策方法在生成响应时存在延迟，影响交互效率。
- Intern-Decision通过自回归掩蔽语言建模，优化了决策过程，返回结构化选择和概率。
- 4B模型在多个评估中表现优异，准确率达到90.02%，显著提升了决策效率。
📝 摘要（中文）
交互代理在有限的动作、标签或顺序结果中反复选择。为每个选择生成自由形式的响应会增加延迟并复杂化模型与环境之间的接口。本文提出了Intern-Decision，一个包含0.8B、2B和4B多模态决策模型的系列，能够从文本和可选图像中返回结构化选择和候选概率。我们的自回归掩蔽语言建模目标在完整的助手JSON框架中为每个字段放置一个决策占位符。真实符号仅在监督中出现，而所有字段在单次因果前向传递中使用主干的原生语言模型头进行评估。4B模型在七个评估套件中实现了90.02%的无权平均准确率，相较于Jev v1.13.0的88.74%。
🔬 方法详解
问题定义：本文旨在解决交互代理在多模态决策中生成响应时的延迟问题。现有方法在选择过程中需要生成自由形式的响应，导致效率低下。
核心思路：Intern-Decision通过自回归掩蔽语言建模，将决策占位符嵌入到完整的JSON框架中，简化了决策过程并提高了响应速度。
技术框架：该方法的整体架构包括输入文本和可选图像，经过自回归模型处理后，输出结构化的选择和概率。模型的主干使用语言模型头进行评估，确保高效的前向传递。
关键创新：最重要的创新在于将决策占位符与JSON框架结合，允许在单次前向传递中评估所有字段，显著提升了决策效率。
关键设计：模型的参数设置包括0.8B、2B和4B不同规模，损失函数采用自回归掩蔽语言建模，确保模型在训练过程中能够有效学习决策模式。
🖼️ 关键图片
📊 实验亮点
在实验中，4B模型在七个评估套件中达到了90.02%的无权平均准确率，超越了Jev v1.13.0的88.74%。在固定289-token请求的情况下，4B模型的平均延迟为44.16毫秒，较小模型的延迟为33-34毫秒。此外，通过温度缩放，Brier期望值从0.628降低至0.550，校准误差从0.213降低至0.089。
🎯 应用场景
该研究的潜在应用场景包括智能助手、自动化决策系统和交互式游戏等领域。通过提高多模态决策的效率，Intern-Decision能够在实际应用中显著提升用户体验和系统响应速度，未来可能推动更复杂的智能代理系统的发展。
📄 摘要（原文）
Interactive agents repeatedly choose among a finite set of actions, labels, or ordinal outcomes. Generating a free-form response for each choice adds latency and complicates the interface between a model and its environment. We present Intern-Decision, a family of 0.8B, 2B, and 4B multimodal decision models that return structured choices and candidate probabilities from text and optional images. Our autoregressive masked language modeling objective places one decision placeholder per field in a complete assistant JSON skeleton. Ground-truth symbols appear only in supervision, while all fields are evaluated in a single causal forward pass using the backbone's native language-model head. The 4B model achieves a 90.02% unweighted average accuracy across seven evaluation suites, compared with 88.74% for Jev v1.13.0. For a fixed 289-token request with three fields on one RTX 4090, mean latency is 44.16 ms for the 4B model and approximately 33--34 ms for the smaller models. On a separate 96-case known-distribution pilot, temperature scaling reduces expected multiclass Brier from 0.628 to 0.550 and expected calibration error from 0.213 to 0.089. A confidence-based handoff study on 111 public Jevbench-Hard items improves accuracy from 82/111 (73.87%) to 97/111 (87.39%) by routing 42 items to Atria-Dawn-Preview. We also describe qualitative game, visual interface, and browser demonstrations. These results support compact decision models as a practical component of larger agent systems.