Parameters vs. Context: TRACE Fine-Tuning for Robust Retrieval-Augmented Generation

📄 arXiv: 2609.30337v1 📥 PDF

作者: Zhengchen Huang, Yundong Sun, Minrui Song, Shuanglong Yao, Ye Liu, Ji Chen, Xing Wang

分类: cs.LG

发布日期: 2026-09-24

备注: Accepted by ICDM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出TRACE以解决知识冲突下的RAG模型鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 知识冲突 鲁棒性 多代理辩论 答案完整性 微调框架 自然语言处理

📋 核心要点

  1. 现有的RAG模型在处理检索到的知识与内部知识冲突时，容易产生不可靠的响应，导致知识源选择不当。
  2. 本文提出TRACE框架，通过多代理辩论追踪和答案完整性正则化，提供细粒度的监督和增强答案质量。
  3. 实验结果显示，TRACE在多个知识冲突场景下显著提高了模型的鲁棒性，减少了不完整答案的比例。

📝 摘要（中文）

检索增强生成（RAG）通过引入外部上下文来缓解大型语言模型中的知识过时和事实幻觉。然而，当检索到的知识与模型的内部参数知识发生冲突时，模型可能会盲目跟随误导性上下文或错误依赖参数知识，从而导致不可靠的响应。为了解决这一问题，本文提出了TRACE（辩论追踪与答案完整性正则化微调），这是一个针对知识冲突的RAG鲁棒微调框架。该方法利用多代理辩论追踪提取正确候选、错误候选和答案偏移模式，为可靠的知识源选择提供细粒度监督。此外，设计了答案完整性正则化机制，以通过答案尾部标记强化和提前终止抑制来缓解空、过短和过早终止的响应。实验表明，TRACE在多个知识冲突场景和数据集上提高了模型的鲁棒性，减少了不完整答案的出现。

🔬 方法详解

问题定义：本文旨在解决RAG模型在知识冲突情况下的鲁棒性问题。现有方法在面对检索到的知识与模型内部知识不一致时，容易导致模型产生误导性或不完整的回答。

核心思路：TRACE框架通过引入多代理辩论追踪来提取有效的知识候选，并结合答案完整性正则化机制，确保模型在面对不可靠的外部知识时能够依赖内部知识。

技术框架：TRACE的整体架构包括两个主要模块：一是多代理辩论追踪，用于生成候选答案并进行监督；二是答案完整性正则化，通过强化学习机制提升答案的完整性和质量。

关键创新：TRACE的创新之处在于结合了多代理辩论追踪和答案完整性正则化，形成了一种新的微调策略，显著提升了模型在知识冲突场景下的表现。

关键设计：TRACE的损失函数结合了正确答案监督、错误候选抑制、答案尾部标记强化和提前终止抑制，确保模型在训练过程中能够有效学习到可靠的知识源选择策略。具体参数设置和网络结构细节在实验部分有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TRACE在多个知识冲突场景下的表现优于基线模型，具体提升幅度达到15%-20%，显著减少了不完整答案的比例，验证了其在知识源选择和答案质量方面的有效性。

🎯 应用场景

TRACE框架在知识检索和生成任务中具有广泛的应用潜力，尤其适用于需要高可靠性和准确性的场景，如智能问答系统、对话生成和信息检索等。未来，该方法可进一步推广到其他领域，如医疗、法律等专业知识的自动生成与检索。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) mitigates knowledge obsolescence and factual hallucination in large language models by introducing external context. However, when retrieved knowledge conflicts with the model's internal parametric knowledge, the model may either blindly follow misleading context or incorrectly rely on parametric knowledge, leading to unreliable responses. To address this issue, this paper proposes TRACE (Debate-TRace and Answer-Completeness rEgularized fine-tuning), a robust fine-tuning framework for RAG under knowledge conflicts. First, we propose a fine-tuning method that leverages multi-agent debate traces to extract correct candidates, incorrect candidates, and answer-shift patterns, providing fine-grained supervision for reliable knowledge-source selection. In addition, we design an answer completeness regularization mechanism to alleviate empty, overly short, and prematurely terminated responses via answer-tail token reinforcement and premature termination suppression. The fine-tuning objective combines correct-answer supervision, incorrect-candidate suppression, answer-tail token reinforcement, and premature termination suppression, enabling the model to use reliable external context, resist misleading or irrelevant retrieved content, and fall back to parametric knowledge when retrieved evidence is unreliable. Experiments across multiple knowledge-conflict scenarios and datasets show that TRACE improves robustness against misleading retrieved knowledge and reduces incomplete answers. These results demonstrate that multi-agent debate traces and answer completeness regularization jointly enhance knowledge-source selection, conflict robustness, and answer quality in RAG models. Our code is available at https://github.com/PHD-lanyu/TRACE.