Accept or Repair: Preserving Passage-Supported Answers in Contrastive Decoding

📄 arXiv: 2610.29727v1 📥 PDF

作者: Jungseob Lee, Seungyoon Lee, Hyeonseok Moon, Seongtae Hong, Suhyune Son, Sugyeong Eo, Minhyuk Kim, Chanjun Park, Jaehyung Seo

分类: cs.CL

发布日期: 2026-10-21

备注: 21 pages, 5 figures. Code will be released at https://github.com/js-lee-AI/AoR

🔗 代码/项目: GITHUB

💡 一句话要点

提出Accept-or-Repair以解决语言模型回答准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 对比解码 答案准确性 信息检索 问答系统 机器学习 自然语言处理

📋 核心要点

  1. 现有的对比解码方法在处理段落支持的答案时，可能会错误地修改正确答案，导致准确性下降。
  2. 论文提出的Accept-or-Repair方法通过检查答案与段落的一致性，保留支持的答案并尝试替换不支持的答案，从而提高回答的准确性。
  3. 实验结果表明，AoR方法在反事实和普通段落上均显著提高了得分，展示了其在保持准确性方面的有效性。

📝 摘要（中文）

大型语言模型在回答问题时，常常依赖于训练期间学习的知识，即使提供的段落与这些知识相矛盾。为了解决这一问题，论文提出了对比解码方法，但该方法在某些情况下会改变段落支持的正确答案。研究表明，通过检查答案与段落的一致性，可以消除这种权衡。基于此，提出了Accept-or-Repair（AoR）方法，该方法在不需要训练的情况下，保留段落支持的答案，若不支持则尝试最多两次替换，直至找到符合条件的答案。实验结果显示，AoR在反事实段落上比采样方法提高了12.5分，在普通段落上提高了2.3分，超越了八种对比和提示基线。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在回答时可能会依赖于训练知识，而忽视与提供段落的矛盾，导致回答准确性下降。现有的对比解码方法在某些情况下会错误地修改段落支持的正确答案。

核心思路：论文的核心思路是通过检查答案是否得到段落支持来消除对比解码方法的权衡。若答案得到支持，则保留该答案；若不支持，则尝试替换，直至找到符合条件的答案。

技术框架：整体架构包括三个主要阶段：首先，检查答案与段落的一致性；其次，若答案不被支持，则进行最多两次替换尝试；最后，返回第一个通过检查的答案。

关键创新：最重要的技术创新点在于提出了Accept-or-Repair方法，它通过直接检查段落支持来避免对比解码方法的缺陷，与现有方法相比，能够更好地保持答案的准确性。

关键设计：在设计上，AoR方法不需要额外的训练，且在替换过程中会拒绝那些与段落不一致的答案，确保生成的答案与段落内容相符。

📊 实验亮点

实验结果显示，Accept-or-Repair方法在反事实段落上比采样方法提高了12.5分，在普通段落上提高了2.3分，超越了八种对比和提示基线，证明了其在保持答案准确性方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括问答系统、对话系统和信息检索等。通过提高语言模型在处理矛盾信息时的准确性，AoR方法能够增强模型在实际应用中的可靠性，尤其是在需要高准确度的场景中，如医疗、法律和教育等领域。

📄 摘要（原文）

Large language models often answer from knowledge learned during training, even when a provided passage contradicts that knowledge. To address this problem, contrastive decoding contrasts the predictions under the full and a modified prompt at every token, but it also alters correct answers that the passage supports. We show that checking answers against the passage removes this trade-off. Based on this observation, we propose Accept-or-Repair (AoR), a training-free procedure. AoR keeps a sampled answer if the passage supports it. Otherwise, it tries up to two replacements with contrastive decoding, returning one as soon as it passes this check. It rejects replacements that repeat the answer generated without the passage when the passage favors another answer. Our experiments show that AoR raises the score over sampling by 12.5 points on counterfactual passages and 2.3 on ordinary ones, surpassing eight contrastive and prompting baselines on both, including when each receives the same rejection rule. Replacing only initial answers that the passage does not support improves the average score of every decoder. These results suggest that models can follow passages that contradict their knowledge while preserving accuracy on passages that agree with it. Code will be released at https://github.com/js-lee-AI/AoR.