FastJEV: Understanding Redundancy for Compact JEV Inference

📄 arXiv: 2610.11379v1 📥 PDF

作者: Jie Ma, Jie Gao, Yihang Liu, Zhike Qiu, Junle Li, Chongyi Zhuang, Jiayi Ji, Xiaoshuai Sun

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出FastJEV以解决JEV推理中的冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态决策 冗余计算 状态重用 推理效率 FastJEV

📋 核心要点

  1. 现有JEV模型在候选评估中存在冗余计算，导致效率低下和资源浪费。
  2. 本文提出FastJEV，通过共享上下文和状态重用来减少冗余计算，提高候选评估的紧凑性。
  3. 实验结果表明，FastJEV在多个基准上显著减少候选深度，同时保持高任务得分，提升了推理效率。

📝 摘要（中文）

JEV模型通过直接评分候选者来进行多模态决策。尽管公共上下文仅编码一次，候选评估仍可能重复匹配令牌历史、重复推理状态并执行完整的骨干网络。本文研究了这些冗余来源，并提出了FastJEV以实现紧凑的候选评估。我们共同组织历史重用和状态存储，因为共享计算需要保留状态以供后续分支使用。我们首先引入共享上下文锚定以重用递归初始状态，并省略未使用的最终递归缓存。通过候选前缀共享，我们进一步扩展了这种重用，保留后续分支所需的中间状态。为了进一步减少这些路径的深度，我们基于在小型未标记集上测量的相对得分变化应用了决策引导修剪。我们的算法在不增加额外训练的情况下保留完整的上下文编码和所有候选者。我们在五个公共基准和重建的LIBERO-10离线问题上评估了FastJEV，在选定的修剪预算下，完整方法将候选深度减少了43.75%至45.83%，同时在六个评估集上平均保留了93.66%至97.52%的原始任务得分。

🔬 方法详解

问题定义：本文旨在解决JEV推理中的冗余计算问题，现有方法在候选评估中存在重复匹配和状态计算的低效现象。

核心思路：FastJEV通过共享上下文和状态重用来优化候选评估，减少不必要的计算，同时保持模型性能。

技术框架：该方法包括共享上下文锚定、候选前缀共享和基于得分变化的决策引导修剪等模块，整体流程旨在高效利用计算资源。

关键创新：FastJEV的核心创新在于通过历史重用和状态存储的联合组织，显著降低了候选深度，同时保留了完整的上下文信息。

关键设计：在实现中，候选前缀共享设计用于减少重复计算，修剪策略基于相对得分变化进行优化，确保在不增加额外训练的情况下提升推理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FastJEV在选定的修剪预算下，候选深度减少了43.75%至45.83%，同时在六个评估集上保留了93.66%至97.52%的原始任务得分，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括多模态决策系统、智能助手和自动化推理任务等。通过提高JEV推理的效率，FastJEV可以在实时应用中显著降低延迟，提升用户体验，并为未来的智能系统设计提供新的思路。

📄 摘要（原文）

JEV models make multimodal decisions by directly scoring candidates. Although the common context is encoded once, candidate evaluation can still repeat matching token histories, duplicate inference states, and execute the full backbone. In this paper, we study these sources of redundancy and present FastJEV for compact candidate evaluation. We jointly organize history reuse and state storage, since sharing computation requires preserving states for later branches. We first introduce shared context anchoring to reuse recurrent initial states and omit unused final recurrent caches. We extend this reuse through candidate prefix sharing, retaining the intermediate states needed by subsequent branches. To further reduce the depth of these paths, we apply decision guided pruning based on relative score changes measured on a small unlabeled set. Our method retains full context encoding and all candidates without additional training. We evaluate FastJEV across three OmniJev model sizes on five public benchmarks and reconstructed LIBERO-10 offline questions. At the selected pruning budgets, the complete method reduces candidate depth by 43.75% to 45.83%, while retaining 93.66% to 97.52% of the original task scores on average across the six evaluation sets. Through controlled experiments, we show how candidate overlap and branching structure affect the execution cost of history reuse. In our implementation, candidate prefix sharing can reduce repeated computation while increasing latency. These findings motivate designing sharing granularity and execution schedules together for efficient JEV inference.