Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

📄 arXiv: 2609.35308v1 📥 PDF

作者: Fahrell Giovanny, Geby Bayuningtyas, Sahrul Mukharom, Hafiz Budi Firmansyah

分类: cs.CL

发布日期: 2026-09-28

备注: 9 figures, 19 tables. Benchmark, code, and protocol definitions: https://github.com/fahrellgiovanny/epistemic-policy-divergence

💡 一句话要点

提出五种污染协议以解决多轮对话中的知识污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对话系统 知识污染 虚假信息 权威来源 自动评判系统 开源基准

📋 核心要点

  1. 现有大型语言模型在处理对话历史时，容易受到虚假信息的影响，导致会话级污染问题。
  2. 本文提出五种污染协议，通过不同的权威来源来评估模型对虚假信息的采纳情况，揭示其失败机制。
  3. 实验结果显示，GPT-5.4 Mini在所有会话中未采纳虚假信息，而Gemini-3.1 Flash-Lite的采纳率随权威来源变化显著，GLM-4.5-Air的恢复能力也存在差异。

📝 摘要（中文）

大型语言模型在处理对话历史时，将未验证的上下文视为事实，这导致了我们称之为会话级污染的失败模式。本文引入了五种污染协议，沿着源权威梯度排列，隔离不同的失败机制，同时保持虚假前提不变。我们评估了GPT-5.4 Mini、Gemini-3.1 Flash-Lite和GLM-4.5-Air在十个知识领域的表现，使用双轨自动评判系统与人类标准进行验证。结果显示，GPT-5.4 Mini在所有500个会话中均未采纳虚假信息，而Gemini-3.1 Flash-Lite的采纳率在不同权威来源下变化显著。GLM-4.5-Air则表现出较浅的权威梯度，恢复能力也存在显著差异。该研究强调了对话历史作为攻击面需要更具来源意识的系统设计，并将完整框架作为开源基准发布。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多轮对话中因虚假信息引发的会话级污染问题。现有方法未能有效识别和抵御这些虚假信息，导致模型输出不可靠的结果。

核心思路：通过引入五种污染协议，沿着源权威梯度评估模型对虚假信息的采纳情况，旨在隔离不同的失败机制并保持虚假前提不变，以便更好地理解模型的行为。

技术框架：研究采用双轨自动评判系统，结合人类标准进行验证，评估不同模型在十个知识领域的表现。每种污染协议对应不同的权威来源，模型的响应被记录和分析。

关键创新：本文的主要创新在于系统性地分析了不同权威来源对模型采纳虚假信息的影响，揭示了权威依赖和指令遵循在同一架构内的不同机制。

关键设计：实验中使用了温度为零的设置，进行22,500轮对话，采用Cohen's kappa评估自动评判系统与人类评判的一致性，确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-5.4 Mini在500个会话中未采纳任何虚假信息，而Gemini-3.1 Flash-Lite的采纳率在不同权威来源下变化显著，最高达94.0%。GLM-4.5-Air的恢复能力在94.5%的受影响会话中有效，而Gemini仅为26.1%。

🎯 应用场景

该研究的潜在应用领域包括对话系统、智能客服和社交机器人等，能够帮助开发更可靠的语言模型，减少虚假信息对用户的影响。未来，随着对话系统在各行业的广泛应用，提升其对虚假信息的抵抗能力将具有重要的实际价值。

📄 摘要（原文）

Large language models process conversation history as unverified context: false premises injected into prior turns can be adopted as fact, a failure mode we term session-level contamination. We introduce five contamination protocols arranged along a source-authority gradient, isolating distinct failure mechanisms while holding the false premise constant, and evaluate GPT-5.4 Mini, Gemini-3.1 Flash-Lite, and GLM-4.5-Air across ten knowledge domains at temperature zero (22,500 turns), using a dual-track automated judge validated against a human gold standard (Cohen's \k{appa} = 0.901). GPT-5.4 Mini showed zero adoptions across all 500 sessions, a content-independent policy at the session level; token-level probing shows the underlying margin, while large, is finite. Gemini-3.1 Flash-Lite followed a steep authority gradient: 0.1% adoption for self-attributed falsehoods, 23.5% for user-cited sources, 68.2% for system-injected authority, and 94.0% under instruction override. GLM-4.5-Air showed a shallower gradient (15.8% vs 84.2%), a 68-percentage-point dissociation confirming that authority deference and instruction compliance are distinct mechanisms within one architecture. Recovery also diverged: GLM recovered in 94.5% of affected sessions, whereas 26.1% of affected Gemini sessions never did, rising to 40.0% under instruction override. Conversation history is an untrusted attack surface requiring provenance-aware system design; the complete framework is released as an open-source benchmark.