HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
作者: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai
分类: cs.CV
发布日期: 2026-10-22
💡 一句话要点
提出HiSTEVE以解决开放世界游戏中的自主控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放世界游戏 虚拟代理 自主控制 长时间任务 强化学习 视觉感知 能力感知代理 人机交互
📋 核心要点
- 现有的虚拟代理在开放世界游戏中通常缺乏长时间自主性或可靠的本地控制，导致其表现不如人类玩家。
- HiSTEVE通过分层VLA代理和能力感知代理架构，结合结构化内存和VLM规划器，解决了长时间任务执行中的控制问题。
- HiSTEVE在MineStudio Bench上取得85.0%的原子任务表现，并在OpenHA上实现37.4%的平均成功率，显示出其在长时间任务中的有效性。
📝 摘要（中文）
构建能够在开放式游戏中像人类玩家一样操作的虚拟代理是一个长期目标，要求具备长时间自主性和可靠的本地接口控制。作为一个程序生成的开放世界，Minecraft为研究这些能力的整合提供了自然的测试平台。现有代理通常提供本地视觉运动控制而缺乏长时间自主性，或通过环境API或预定义技能执行高层规划。为了解决这一问题，本文提出了HiSTEVE，一个具有能力感知代理的分层VLA代理。在调度层面，HiSTEVE配备了结构化内存以跟踪进度，并使用VLM规划器选择VLA能力范围内的子任务。为了可靠地确定子任务完成情况，进一步引入了与策略耦合的任务完成状态检测器。控制层面上，单个VLA通过视觉感知和本地键鼠操作执行所有子任务。通过世界知识注入、模仿学习和环境反馈的强化学习，HiSTEVE提高了可靠性和恢复能力。
🔬 方法详解
问题定义：本文旨在解决开放世界游戏中虚拟代理在长时间自主性和本地控制方面的不足。现有方法通常只能在这两者中选择其一，难以实现人类玩家的表现。
核心思路：HiSTEVE通过分层架构和能力感知设计，结合结构化内存和任务完成状态检测器，提供了一种新的解决方案，旨在实现更高效的任务执行和控制。
技术框架：HiSTEVE的整体架构包括调度层和控制层。在调度层，使用结构化内存跟踪进度，并通过VLM规划器选择子任务；在控制层，单个VLA通过视觉感知和本地键鼠操作执行任务。
关键创新：最重要的创新在于引入了能力感知代理和与策略耦合的任务完成状态检测器，这使得代理能够在复杂环境中更可靠地完成任务。
关键设计：设计中使用了RMSNorm分支来减少GUI与非GUI交互之间的干扰，并通过世界知识注入、模仿学习和强化学习来提升代理的可靠性和恢复能力。具体的参数设置和损失函数设计也经过精心调整，以优化学习过程。
🖼️ 关键图片
📊 实验亮点
HiSTEVE在MineStudio Bench上实现了85.0%的原子任务表现，显著优于现有基线，且在OpenHA上达到了37.4%的平均成功率，展示了其在长时间任务中的有效性和可靠性，标志着在开放世界游戏中的重要进展。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和人机交互等。通过提升虚拟代理的自主性和控制能力，HiSTEVE可以为开放世界游戏中的智能NPC提供更自然的行为，进而改善玩家体验。未来，该技术还可能扩展到其他需要自主决策的领域，如机器人导航和智能助手。
📄 摘要（原文）
Building virtual embodied agents that operate in open-ended games like human players is a long-standing goal requiring both long-horizon autonomy and reliable native-interface control. As a procedurally generated open world, Minecraft provides a natural testbed for studying the integration of these capabilities. Existing agents typically provide either native visuomotor control without long-horizon autonomy or high-level planning executed through environment APIs or predefined skills. To bridge this gap, we propose HiSTEVE, a hierarchical VLA agent with a capability-aware agent harness. At the orchestration level, we equip the harness with structured memory for tracking progress and a VLM planner for selecting subtasks within the VLA's capabilities. To reliably determine subtask completion, we further introduce a policy-coupled task completion state detector that conditions on VLA policy context to signal candidate completion. At the control level, a single VLA executes all subtasks with vision-only perception and native keyboard-and-mouse actions. To mitigate interference between heterogeneous GUI and non-GUI interactions, we introduce regime-specific RMSNorm branches and separate mouse-movement token embeddings. We also train the VLA through world knowledge injection, imitation learning, and reinforcement learning with environment feedback to improve reliability and recovery. HiSTEVE achieves state-of-the-art atomic-task performance, scoring 85.0% on MineStudio Bench and a 37.4% average success rate on OpenHA, while also completing long-horizon tasks such as crafting an iron pickaxe from scratch like human players.