World Action Critic (WAC) Model: Joint Foresight and Criticism for Policy Learning

📄 arXiv: 2610.22825v1 📥 PDF

作者: Xiangteng Zhang, Haoyuan Liu, Yang Guan, Jingliang Duan, Yao Lyu, Tao Zhang, Shuai Zhang, Kehua Sheng, Bo Zhang, Shengbo Eben Li

分类: cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出世界动作评论家模型解决反事实动作评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 反事实推理 策略学习 多模态候选 自动驾驶 评论家监督 未来预测 后果评估

📋 核心要点

  1. 现有方法在反事实动作的推理上存在困难，预测目标可能忽视了重要的评估信息。
  2. 提出的WAC模型通过多模态候选动作联合学习未来预测与后果评估，增强了动作质量的区分能力。
  3. 在自动驾驶任务中，WAC模型实现了93.4 PDMS的优异表现，显示了其在策略学习中的有效性。

📝 摘要（中文）

世界模型在顺序决策中展现出显著潜力，通过预测行动后果为策略学习提供前瞻性。然而，学习反事实动作的推理仍然具有挑战性，因为预测目标可能低估了行动评估所需的重要信息，而未执行的动作缺乏直接监督的观察未来。为了解决这些问题，我们提出了世界动作评论家（WAC）模型，该模型提出多模态动作候选，并联合学习候选条件下的未来预测和后果评估。在我们的框架中，评论家监督直接影响回放过程中的中间预测表示，鼓励它们保留区分动作质量所需的信息。通过联合优化，来自这些候选的评论信号在不需要观察未来的情况下传播到预测表示中。应用于自动驾驶，WAC在NAVSIM-v1上达到了93.4 PDMS，证明了联合学习预测前瞻性和后果评估的有效性。

🔬 方法详解

问题定义：本论文旨在解决在顺序决策中反事实动作评估的困难，现有方法在处理未执行动作时缺乏有效的监督机制，导致预测质量不足。

核心思路：WAC模型通过提出多模态动作候选，联合学习未来预测和后果评估，利用评论家监督来增强中间表示的特征保留，从而提高动作质量的评估能力。

技术框架：WAC模型的整体架构包括候选动作生成模块、未来预测模块和后果评估模块。候选动作生成模块提出多种可能的动作，未来预测模块基于执行的动作进行预测，而后果评估模块则利用评论家信号对未执行动作进行评估。

关键创新：WAC模型的主要创新在于通过评论家监督直接影响预测表示的学习过程，使得未观察未来的候选动作也能获得有效的评估信号，这一机制在现有方法中尚未实现。

关键设计：模型中采用了多模态输入以生成候选动作，损失函数设计上结合了执行动作的观察未来和未执行动作的评论信号，网络结构上则使用了深度神经网络来处理复杂的输入特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NAVSIM-v1自动驾驶任务中，WAC模型实现了93.4 PDMS的性能，显著优于基线方法，展示了联合学习预测前瞻性和后果评估的有效性，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要顺序决策的智能系统。通过提高反事实动作的评估能力，WAC模型能够在复杂环境中更好地支持决策过程，未来可能对智能系统的自主性和安全性产生积极影响。

📄 摘要（原文）

World models have shown considerable promise in sequential decision-making by anticipating the consequences of actions and providing predictive foresight for policy learning. However, learning to reason about counterfactual actions remains challenging, since predictive objectives may underemphasize information critical for action evaluation, while unexecuted actions lack observed futures for direct supervision. To address these challenges, we propose the World Action Critic (WAC) Model, which proposes multimodal action candidates and jointly learns candidate-conditioned future prediction and consequence evaluation. In our proposed framework, critic supervision directly shapes intermediate predictive representations during rollout, encouraging them to retain information needed to distinguish action quality. Observed futures supervise prediction for executed actions, while external task-quality targets provide evaluation signals for counterfactual candidates. Through joint optimization, critic signals from these candidates propagate into predictive representations without requiring their observed futures. Our theoretical analysis characterizes critic-guided feature retention and bounds candidate-selection regret. Applied to autonomous driving, WAC achieves 93.4 PDMS on NAVSIM-v1, demonstrating the effectiveness of jointly learning predictive foresight and consequence evaluation.