Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

📄 arXiv: 2610.13504v1 📥 PDF

作者: Oriol Corcoll, Qiyao Wei, Ciarán Mark Gilligan-Lee

分类: cs.LG, cs.AI, cs.IR

发布日期: 2026-10-09

💡 一句话要点

提出解释性世界模型以解决强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 信用分配 生成推荐 解释性模型 长时间跨度 样本效率 因果推理

📋 核心要点

  1. 现有的强化学习方法在奖励传播上主要依赖时间接近性，导致远期重要行为的信号被削弱，影响样本效率。
  2. 本文提出了解释性世界模型（EWM），通过使用解释来识别对结果有贡献的早期事件，从而改进信用分配。
  3. 在多个基准测试中，EWM在奖励延迟时表现出显著的性能提升，尤其是在Crafter和WordCraft等任务中超越了传统方法。

📝 摘要（中文）

生成推荐系统越来越多地使用强化学习（RL）来优化可能在决策后数百或数千次交互后才显现的结果。标准的RL根据时间接近性传播奖励，而不是显式相关性，这削弱了对远期但重要行为的信号分配，造成样本效率低下。本文提出了解释性世界模型（EWM），一种归因框架，通过解释来识别可能对实现结果做出贡献的早期事件。我们用前沿语言模型实例化EWM，并使用其解释作为学习信号，通过保守的分层操作符递归重新分配奖励，同时保持未折扣的回合收益。在两个受控的长时间跨度RL基准、一个公共序列推荐基准和一个行业规模的生成推荐器上评估EWM，结果表明EWM在奖励延迟时显著优于PPO和LaRe。

🔬 方法详解

问题定义：本文旨在解决强化学习中奖励传播的低效问题，现有方法往往忽视了远期行为的重要性，导致样本效率低下。

核心思路：提出了解释性世界模型（EWM），通过解释来识别早期事件与最终结果之间的关系，从而为远期行为提供更合理的信用分配。

技术框架：EWM的整体架构包括一个前沿语言模型，用于生成解释，并通过保守的分层操作符递归地重新分配奖励，确保未折扣的回合收益不变。

关键创新：EWM的核心创新在于将解释作为学习信号，利用Halpern的实际因果关系、Lombrozo的解释简单性和Deutsch的难以变化的解释等理论，形成三种互补的解释变体。

关键设计：在实现中，EWM采用分层操作符进行奖励分配，确保在不同阶段的奖励能够合理反映行为的贡献，同时保持模型的稳定性和有效性。具体的参数设置和损失函数设计在实验中经过优化，以提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Crafter和WordCraft基准测试中，EWM显著超越了PPO和LaRe，尤其是在奖励延迟的情况下，表现出最大的性能提升。在KuaiRand上，EWM在离线和在线评估中均优于SFT和A2C，显示出其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括生成推荐系统、个性化广告和长期决策支持等。通过改进信用分配机制，EWM能够在复杂的决策环境中提高系统的学习效率和推荐质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generative Recommenders increasingly use Reinforcement Learning (RL) to optimize outcomes that may appear hundreds or thousands of interactions after a decision. Standard RL propagates reward according to temporal proximity rather than explicit relevance, attenuating the signal assigned to distant but important actions and creating a source of sample inefficiency. We introduce Explanatory World Models (EWM), an attribution framework that uses explanations to identify the earlier events that plausibly contributed to a realized outcome. We instantiate EWM with a frontier language model and use its explanations as learning signals using a conservative hierarchical operator that recursively redistributes reward while preserving the undiscounted episode return. To investigate what constitutes a useful explanation, we operationalize three complementary variants inspired by Halpern's actual causation, Lombrozo's explanatory simplicity, and Deutsch's hard-to-vary explanations. We evaluate EWM on two controlled long-horizon RL benchmarks, a public sequential-recommendation benchmark, and an industry-scale generative recommender. On Crafter and WordCraft, EWM substantially outperforms PPO and LaRe, with its largest gains when rewards are most delayed. On KuaiRand, EWM outperforms SFT and LaRe offline and A2C online. Finally, in an offline evaluation of an industry generative recommender, EWM considerably improves Recall and increases behavioral proxies. These results suggest that explanations can provide structured and reusable credit for learning from delayed outcomes.