CASI: Credit Assignment via Set Intervention for Agentic Retrieval

📄 arXiv: 2610.20293v1 📥 PDF

作者: Xinyi Cheng, Tianfu Zhang, Jiwen Li, Xuesen Zhang, Shihao Yu, Pengfei Zhu, Renhuan, Heda Wang

分类: cs.AI, cs.IR, cs.LG

发布日期: 2026-10-14

备注: 19 pages, 2 figures, 8 tables

💡 一句话要点

提出CASI以解决多检索动作奖励分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信用分配 集合干预 Shapley值 多检索动作 广告推荐 策略优化

📋 核心要点

  1. 现有方法在多检索动作场景中无法有效分配奖励，导致集内归因不明确。
  2. CASI通过快照基础的集合干预生成反事实信息，并利用Shapley聚合进行信用分配。
  3. 在五个独立的训练运行中，CASI训练的策略在拍卖重放集值上优于其他策略，并在生产测试中实现了显著提升。

📝 摘要（中文）

随着大型语言模型越来越多地联合生成多个检索动作，现有下游系统通常只为结果集提供一个奖励。这种奖励广播虽然为期望的集体目标提供了有效的评分函数梯度估计，但无法确定集内归因。为此，本文提出CASI（通过集合干预进行的信用分配），通过快照基础的集合干预构建缺失的反事实信息：生成并检索一次，保持可重放的快照组件固定，并在共同条件下评估替代子集。Shapley聚合将这些边际转化为集内信用，并将其纳入策略优化中。实验结果表明，CASI在多个训练运行中表现优于其他信用规则，并在生产环境中实现了3.51%的主要广告商价值指标提升。

🔬 方法详解

问题定义：本文旨在解决在多检索动作中如何有效分配奖励的问题。现有方法通常只提供一个集体奖励，无法明确每个动作的贡献，导致集内归因不准确。

核心思路：CASI的核心思路是通过快照基础的集合干预生成反事实信息，固定部分组件并评估不同子集，从而实现更准确的信用分配。这样的设计使得在多动作环境中能够更好地理解各个动作的相对贡献。

技术框架：CASI的整体架构包括生成与检索模块、快照固定模块和替代子集评估模块。首先生成检索动作，然后固定快照组件，最后在共同条件下评估不同的子集以获取信用分配。

关键创新：CASI的主要创新在于引入快照基础的集合干预方法，构建反事实信息并通过Shapley聚合实现集内信用分配。这一方法与传统的奖励广播方式有本质区别，能够更精确地反映各个动作的贡献。

关键设计：在CASI中，关键参数包括快照组件的选择和评估条件的设置。损失函数设计上，结合了Shapley值的计算，以确保信用分配的公平性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在一项针对1200个请求的五动作赞助搜索实验中，CASI训练的策略在拍卖重放集值上显著优于Singleton和Broadcast训练的策略。此外，在为期七天的生产A/B测试中，CASI训练的策略在主要广告商价值指标上实现了3.51%的提升。

🎯 应用场景

CASI的研究成果在广告推荐、搜索引擎优化及多任务学习等领域具有广泛的应用潜力。通过更精确的奖励分配机制，能够提升系统的整体性能和用户体验，未来可能推动智能推荐系统的进一步发展。

📄 摘要（原文）

Large language models increasingly generate multiple retrieval actions jointly, while downstream systems often provide only one reward for the resulting set. Broadcasting this reward provides a valid score-function gradient estimator for the expected set-level objective, but does not determine a coalition-dependent within-set attribution. We introduce CASI (Credit Assignment via Set Intervention for Agentic Retrieval), which constructs the missing counterfactual information through snapshot-grounded set intervention: generate and retrieve once, hold replayable snapshot components fixed, and evaluate alternative subsets under common conditions. Shapley aggregation converts these marginals into within-set credit, which bounded zero-sum advantage shaping incorporates into policy optimization. For m >= 4, singleton, leave-one-out, and full-set endpoints do not generally determine the Shapley allocation; under additive set values, extra coalition evaluations are redundant. In a five-action sponsored-search setting, exhaustive auction replay over 1,200 requests reveals substantial coalition dependence. Under the training-time evaluator, CASI achieves the highest median cosine similarity to a replay-defined Shapley reference among evaluated credit rules; under a sensitivity backend, CASI does not outperform Singleton. Across five independent training runs, CASI-trained policies achieve higher held-out auction-replay set value than Singleton- or Broadcast-trained policies. In a randomized seven-day production A/B test on 10% of traffic, the CASI-trained policy yields an observed 3.51% lift in the primary advertiser-value metric over production control.