Single LLM Debate, MoLaCE: Mixture of Latent Concept Experts Against Confirmation Bias

📄 arXiv: 2512.23518v1 📥 PDF

作者: Hazel Kim, Philip Torr

分类: cs.CL

发布日期: 2025-12-29

💡 一句话要点

提出MoLaCE，通过混合潜在概念专家解决LLM中的确认偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 确认偏差 多智能体辩论 潜在概念 模型鲁棒性

📋 核心要点

  1. 大型语言模型容易受到确认偏差的影响，即倾向于强化提示中暗示的答案，忽略其他可能性。
  2. MoLaCE通过混合多个“潜在概念专家”来解决确认偏差，这些专家通过调整模型内部的激活强度来影响模型响应。
  3. 实验表明，MoLaCE能有效减少确认偏差，提高模型鲁棒性，且计算成本远低于多智能体辩论。

📝 摘要（中文）

大型语言模型（LLMs）极易受到输入确认偏差的影响。当提示暗示了偏好的答案时，模型通常会强化这种偏差，而不是探索替代方案。这种现象尚未得到充分研究，但它已经在基础模型中造成了危害，并且在多智能体辩论中构成了更大的风险，在多智能体辩论中，回声室效应会强化偏差而不是纠正偏差。我们引入了潜在概念专家混合（MoLaCE），这是一个轻量级的推理时框架，它通过混合实例化为不同激活强度的专家来解决确认偏差问题，这些专家作用于塑造模型响应的潜在概念。我们的关键见解是，由于语言的组合性质，不同措辞的提示以提示特定的方式重新加权潜在概念，从而影响事实的正确性，因此不能将单个固定的干预措施普遍应用于所有输入。这种设计使单个LLM能够在内部模拟辩论的好处，同时保持计算效率和可扩展性。它还可以集成到多智能体辩论框架中，以实现视角多样化并减少相关的错误。我们通过实验表明，它始终如一地减少了确认偏差，提高了鲁棒性，并且在仅需少量计算的情况下，匹配或超过了多智能体辩论。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中普遍存在的确认偏差问题。当用户输入的prompt带有倾向性时，LLM往往会强化这种倾向，而忽略其他可能的答案。现有的多智能体辩论方法虽然可以缓解这个问题，但计算成本很高。

核心思路：论文的核心思路是利用语言的组合性质，认为不同的prompt会以不同的方式激活模型内部的“潜在概念”。通过混合多个基于不同潜在概念的“专家”，可以模拟多智能体辩论的效果，从而减少确认偏差。这种方法的关键在于，它不需要多个独立的LLM，而是在单个LLM内部实现。

技术框架：MoLaCE框架主要包含以下几个步骤：1) 确定一组“潜在概念”，这些概念代表了模型在生成文本时可能考虑的不同方面或角度。2) 为每个潜在概念创建一个“专家”，该专家通过调整模型内部的激活强度来影响模型的输出。3) 根据输入的prompt，动态地调整每个专家的权重，从而实现对不同概念的混合。4) 将混合后的专家应用于LLM，生成最终的输出。

关键创新：MoLaCE的关键创新在于它能够在单个LLM内部模拟多智能体辩论的效果，而无需使用多个独立的LLM。这大大降低了计算成本，并提高了可扩展性。此外，MoLaCE还能够根据输入的prompt动态地调整专家的权重，从而更好地适应不同的场景。

关键设计：论文中没有明确给出具体的参数设置、损失函数或网络结构等技术细节。但是，可以推断出，专家的实现可能涉及到对LLM内部某些层的激活函数进行修改，或者引入额外的参数来控制激活强度。权重的调整可能基于prompt的语义分析，例如使用注意力机制来确定prompt中哪些词语与哪些潜在概念相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoLaCE能够显著减少LLM中的确认偏差，并且在某些情况下，其性能甚至超过了传统的多智能体辩论方法。更重要的是，MoLaCE只需要传统方法的一小部分计算资源，这使得它更具实用性和可扩展性。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

MoLaCE可应用于各种需要减少LLM确认偏差的场景，例如：问答系统、文本摘要、机器翻译等。通过提高LLM的客观性和鲁棒性，可以避免模型产生误导性或带有偏见的输出，从而提高用户体验和决策质量。未来，MoLaCE还可以与其他技术结合，例如：知识图谱、强化学习等，以进一步提高LLM的性能。

📄 摘要（原文）

Large language models (LLMs) are highly vulnerable to input confirmation bias. When a prompt implies a preferred answer, models often reinforce that bias rather than explore alternatives. This phenomenon remains underexplored, yet it is already harmful in base models and poses an even greater risk in multi-agent debate, where echo chambers reinforce bias instead of correction. We introduce Mixture of Latent Concept Experts (MoLaCE), a lightweight inference-time framework that addresses confirmation bias by mixing experts instantiated as different activation strengths over latent concepts that shape model responses. Our key insight is that, due to the compositional nature of language, differently phrased prompts reweight latent concepts in prompt-specific ways that affect factual correctness, so no single fixed intervention can be applied universally across inputs. This design enables a single LLM to emulate the benefits of debate internally while remaining computationally efficient and scalable. It can also be integrated into multi-agent debate frameworks to diversify perspectives and reduce correlated errors. We empirically show that it consistently reduces confirmation bias, improves robustness, and matches or surpasses multi-agent debate while requiring only a fraction of the computation.