Alleviating Choice Supportive Bias in LLM with Reasoning Dependency Generation

📄 arXiv: 2512.03082v1 📥 PDF

作者: Nan Zhuang, Wenshuo Wang, Lekai Qian, Yuxiao Wang, Boyu Cao, Qi Liu

分类: cs.CL, cs.AI

发布日期: 2025-11-28

💡 一句话要点

提出推理依赖生成框架，缓解大语言模型中的选择支持偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 选择支持偏差 认知偏差 推理依赖生成 无偏见学习

📋 核心要点

  1. 现有大语言模型在评估时存在选择支持偏差，影响AI辅助决策的客观性，而针对认知偏差的去偏方法研究不足。
  2. 论文提出推理依赖生成（RDG）框架，通过生成无偏推理数据并微调LLM，从而缓解选择支持偏差。
  3. 实验结果表明，在RDG生成的数据上微调的LLM，在记忆和评估任务上分别提升了81.5%和94.3%，同时保持了原有性能。

📝 摘要（中文）

近期研究表明，大型语言模型在评估时表现出选择支持偏差（CSB），系统性地偏袒其选择的选项，从而可能损害人工智能辅助决策的客观性。虽然现有的去偏见方法主要针对人口和社会偏见，但解决LLM中认知偏差的方法在很大程度上仍未被探索。本文提出了第一个解决方案，通过推理依赖生成（RDG）来解决CSB，RDG是一个新颖的框架，用于生成无偏见的推理数据，通过微调来减轻选择支持偏差。RDG自动构建平衡的推理问答对，显式地（取消）建模选择、证据和理由之间的依赖关系。我们的方法能够生成跨领域的大规模问答对数据集，包含上下文依赖数据和依赖解耦数据。实验表明，在RDG生成的数据上进行微调的LLM在基于记忆的实验中表现出81.5%的改进，在基于评估的实验中表现出94.3%的改进，同时在标准BBQ基准测试中保持相似的性能。这项工作开创了一种解决LLM中认知偏差的方法，并有助于开发更可靠的AI辅助决策支持系统。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在进行评估时表现出的选择支持偏差（Choice-Supportive Bias, CSB）问题。现有的去偏见方法主要集中在人口和社会偏见上，而忽略了LLM中存在的认知偏差，这会导致LLM在决策过程中系统性地偏袒其选择的选项，从而影响决策的客观性和公正性。

核心思路：论文的核心思路是通过生成无偏见的推理数据来训练LLM，从而减轻选择支持偏差。具体而言，通过构建平衡的推理问答对，显式地建模或解耦选择、证据和理由之间的依赖关系，使得LLM能够学习到更加客观的推理模式，避免过度偏袒已选择的选项。

技术框架：论文提出的推理依赖生成（RDG）框架主要包含以下几个阶段：1) 数据收集：收集包含选择、证据和理由的原始数据。2) 依赖建模：构建上下文依赖数据，显式地建模选择、证据和理由之间的依赖关系。3) 依赖解耦：构建依赖解耦数据，消除选择、证据和理由之间的依赖关系。4) 数据增强：通过数据增强技术，生成大规模的推理问答对数据集。5) 模型微调：使用生成的数据集对LLM进行微调，使其学习到无偏见的推理模式。

关键创新：论文最重要的技术创新点在于提出了推理依赖生成（RDG）框架，这是第一个专门用于解决LLM中选择支持偏差的方法。与现有的去偏见方法不同，RDG关注的是认知偏差，而不是人口和社会偏见。此外，RDG通过显式地建模和解耦选择、证据和理由之间的依赖关系，能够更加有效地生成无偏见的推理数据。

关键设计：RDG框架的关键设计包括：1) 上下文依赖数据和依赖解耦数据的构建方法，需要仔细设计提示词和生成策略，以确保数据的质量和多样性。2) 数据增强策略，例如使用回译、同义词替换等技术，增加数据的规模和泛化能力。3) 微调过程中的超参数设置，例如学习率、batch size等，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在RDG生成的数据上进行微调的LLM，在基于记忆的实验中表现出81.5%的改进，在基于评估的实验中表现出94.3%的改进。同时，模型在标准BBQ基准测试中保持了相似的性能，表明该方法在减轻选择支持偏差的同时，没有损害模型的通用能力。这些结果充分证明了RDG框架的有效性。

🎯 应用场景

该研究成果可应用于各种需要AI辅助决策的场景，例如医疗诊断、金融投资、法律咨询等。通过减轻LLM中的选择支持偏差，可以提高AI辅助决策的客观性和公正性，从而为用户提供更可靠的决策支持。未来，该方法可以进一步推广到其他类型的认知偏差，从而构建更加值得信赖的人工智能系统。

📄 摘要（原文）

Recent studies have demonstrated that some Large Language Models exhibit choice-supportive bias (CSB) when performing evaluations, systematically favoring their chosen options and potentially compromising the objectivity of AI-assisted decision making. While existing debiasing approaches primarily target demographic and social biases, methods for addressing cognitive biases in LLMs remain largely unexplored. In this work, we present the first solution to address CSB through Reasoning Dependency Generation (RDG), a novel framework for generating unbiased reasoning data to mitigate choice-supportive bias through fine-tuning. RDG automatically constructs balanced reasoning QA pairs, explicitly (un)modeling the dependencies between choices, evidences, and justifications. Our approach is able to generate a large-scale dataset of QA pairs across domains, incorporating Contextual Dependency Data and Dependency Decouple Data. Experiments show that LLMs fine-tuned on RDG-generated data demonstrate a 81.5% improvement in memory-based experiments and 94.3% improvement in the evaluation-based experiment, while maintaining similar performance on standard BBQ benchmarks. This work pioneers an approach for addressing cognitive biases in LLMs and contributes to the development of more reliable AI-assisted decision support systems.