Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results
作者: Yanyu Chen, Yue Li, Yongyi Cui, Dongsheng Shi, Lichang Dai
分类: cs.CL, cs.AI
发布日期: 2026-07-22
💡 一句话要点
提出SelectBench以解决大语言模型选择性证据采纳问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 选择性证据采纳 增强检索 大语言模型 后训练 SelectBench DAPO 信息检索
📋 核心要点
- 现有的增强检索大语言模型在处理混合信息时，容易导致有效证据被丢弃或误导性内容被采纳。
- 本文提出SelectBench基准，通过DAPO方法对Qwen3.5-4B进行后训练，以实现选择性证据采纳。
- 实验结果显示，使用DAPO-Rule和DAPO-DeepSeek后，模型在选择性证据使用上有所改善，但提升幅度有限。
📝 摘要（中文）
增强检索的大语言模型常常面临有用证据与误导性内容交织的上下文。简单拒绝会丢弃有效证据，而不加选择的采纳则可能导致错误或不安全的回答。因此，选择性采纳相关信息并拒绝欺骗性或有害内容的能力对于在真实检索环境中的可靠部署至关重要。本文提出了SelectBench，一个用于选择性证据采纳的受控基准和训练集，并直接使用DAPO对Qwen3.5-4B进行后训练。实验结果表明，经过训练的策略减少了对禁用内容的采纳，并生成了更简短、更集中的响应，但提示注入的效果并未改善。尽管取得了方向性进展，但仍需进一步研究以提高统计稳健性和注入抵抗能力。
🔬 方法详解
问题定义：本文旨在解决增强检索大语言模型在面对混合信息时，如何有效选择性采纳有用证据而拒绝误导性内容的问题。现有方法往往在有效信息与误导信息之间难以做出合理判断，导致模型输出不准确或不安全的结果。
核心思路：论文提出的核心思路是通过SelectBench基准和DAPO方法，训练模型在复杂信息环境中进行选择性证据采纳。通过引入确定性规则奖励或冻结的语义评估者，模型能够更好地识别和采纳相关信息。
技术框架：整体架构包括SelectBench基准的构建、模型的后训练过程以及评估阶段。SelectBench提供了一个受控的训练集，模型通过DAPO方法进行后训练，最终在测试集上评估选择性证据采纳的效果。
关键创新：最重要的技术创新在于引入SelectBench基准和DAPO方法，使得模型能够在复杂信息环境中进行有效的选择性证据采纳。这一方法与现有的简单拒绝或盲目采纳策略有本质区别。
关键设计：在训练过程中，采用了特定的奖励机制和损失函数设计，以优化模型对有用证据的采纳能力。同时，模型结构保持了Qwen3.5-4B的基本框架，确保在后训练过程中不损失其通用能力。实验中使用了325个示例的SelectBench-v2测试集进行评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用DAPO-Rule和DAPO-DeepSeek后，模型在SelectBench-v2测试集上的严格成功率分别从22.46%提升至25.54%和26.46%。尽管提升幅度有限，但模型在减少禁用内容采纳和生成更集中响应方面表现出明显改善。
🎯 应用场景
该研究的潜在应用领域包括信息检索、智能问答系统和对话系统等。通过提高大语言模型在复杂信息环境中的选择性证据采纳能力，可以显著提升其在实际应用中的可靠性和安全性，减少错误信息的传播。未来，该研究可能对增强型人工智能系统的设计和优化产生深远影响。
📄 摘要（原文）
Retrieval-augmented large language models frequently face contexts that interleave useful evidence with misleading statements or instruction-like content. Blanket refusal discards valid evidence, whereas uncritical adoption yields incorrect or unsafe answers. The ability to selectively adopt relevant information while rejecting deceptive or harmful content is therefore critical for reliable deployment in real-world retrieval settings. We introduce SelectBench, a controlled benchmark and training set for selective evidence adoption, and post-train Qwen3.5-4B directly with DAPO using either deterministic rule rewards or a frozen semantic judge. On the corrected 325-example SelectBench-v2 test set, strict success rises from 22.46% for the original checkpoint to 25.54% with DAPO-Rule and 26.46% with DAPO-DeepSeek. Both trained policies reduce forbidden-content adoption and produce shorter, more focused responses, yet prompt-injection following does not improve. The paired gains are modest and fail to survive Holm correction, suggesting that stronger reward shaping or additional training iterations may be needed for more robust gains. DAPO-DeepSeek exhibits no material degradation on MMLU or clean HotpotQA, indicating that the post-training procedure preserves general capabilities. These results demonstrate a directional improvement in selective evidence use, while identifying injection resistance and statistical robustness as important remaining challenges for future work.