Towards Order Fairness: Mitigating LLMs Order Sensitivity through Dual Group Advantage Optimization

📄 arXiv: 2605.11974v1 📥 PDF

作者: Xu Chu, Guanyu Wang, Zhijie Tan, Xinrong Chen, Ziyu Li, Tong Mo, Weiping Li

分类: cs.LG

发布日期: 2026-05-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出DGAO，通过双重群组优势优化缓解大语言模型的顺序敏感性问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 顺序敏感性 公平性 强化学习 检索增强生成

📋 核心要点

  1. 现有方法在缓解LLM顺序敏感性时，要么增加推理开销，要么牺牲准确性，无法同时保证模型稳定性和正确性。
  2. DGAO的核心思想是平衡组内相对准确性优势和组间相对稳定性优势，通过强化学习奖励稳定且正确的输出，惩罚敏感或错误响应。
  3. 实验结果表明，DGAO在RAG、数学推理和分类任务上均表现出更好的顺序公平性，并提升了模型性能。

📝 摘要（中文）

大型语言模型(LLMs)存在顺序偏差，即其性能受输入元素排列顺序的影响。这种不公平性限制了模型在上下文学习和检索增强生成(RAG)等场景中的应用。现有研究试图基于统计结果或使用基于数据集的搜索来获得最优或次优排列，但这增加了推理开销，同时未能解决模型固有的顺序偏差。其他研究通过使用具有多个顺序变体的增强训练集进行监督微调来减轻顺序敏感性，但通常以牺牲准确性为代价，使模型陷入一致但错误的幻觉。本文提出了双重群组优势优化(DGAO)，旨在同时提高模型准确性和顺序稳定性。DGAO计算并平衡组内相对准确性优势和组间相对稳定性优势，奖励策略模型生成顺序稳定且正确的输出，同时惩罚顺序敏感或不正确的响应。这是首次使用强化学习来减轻LLMs的顺序敏感性。我们还提出了两个新的指标，一致性率和过度自信率，以揭示先前方法的伪稳定性，并指导更全面的评估。大量实验表明，DGAO在提高RAG、数学推理和分类任务的性能的同时，实现了卓越的顺序公平性。

🔬 方法详解

问题定义：大型语言模型(LLMs)的顺序敏感性问题，即输入顺序的变化会导致模型输出结果的显著差异。现有方法，如基于统计的排序或数据增强微调，要么增加计算成本，要么牺牲模型准确性，无法有效解决模型固有的顺序偏差，并且容易产生伪稳定性（模型输出一致但错误）。

核心思路：DGAO的核心思路是通过强化学习，训练一个策略模型，使其能够生成顺序稳定且准确的输出。该方法通过优化双重群组优势，即组内相对准确性优势和组间相对稳定性优势，来平衡模型的准确性和稳定性。奖励策略模型生成稳定且正确的输出，同时惩罚顺序敏感或不正确的响应。

技术框架：DGAO的技术框架主要包括以下几个阶段：1) 构建训练数据集，包含不同顺序的输入样本及其对应的正确答案。2) 使用强化学习训练策略模型，该模型的目标是生成顺序稳定且准确的输出。3) 定义奖励函数，该函数基于组内相对准确性优势和组间相对稳定性优势，奖励策略模型生成稳定且正确的输出，同时惩罚顺序敏感或不正确的响应。4) 使用一致性率和过度自信率等指标评估模型的性能。

关键创新：DGAO的关键创新在于：1) 首次使用强化学习来缓解LLMs的顺序敏感性。2) 提出了双重群组优势优化，同时考虑了模型的准确性和稳定性。3) 提出了两个新的指标，一致性率和过度自信率，用于更全面地评估模型的性能。与现有方法相比，DGAO能够在不牺牲准确性的前提下，有效降低模型的顺序敏感性。

关键设计：DGAO的关键设计包括：1) 奖励函数的设计，该函数基于组内相对准确性优势和组间相对稳定性优势，需要仔细调整权重以平衡准确性和稳定性。2) 策略模型的选择，可以使用各种强化学习算法，如Policy Gradient或Actor-Critic方法。3) 一致性率和过度自信率的计算方法，需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DGAO在RAG、数学推理和分类任务上均取得了显著的性能提升。例如，在RAG任务中，DGAO相较于基线模型提升了X%的准确率，同时显著降低了模型的顺序敏感性。此外，DGAO在一致性率和过度自信率等指标上也表现出优异的性能，验证了其在提高模型稳定性和可靠性方面的有效性。

🎯 应用场景

DGAO可应用于各种需要顺序不变性的LLM应用场景，如上下文学习、检索增强生成(RAG)、信息抽取和问答系统。通过提高LLM的顺序公平性，DGAO可以提升这些应用在实际场景中的可靠性和公平性，减少因输入顺序变化导致的错误或偏差，并为未来的LLM研究提供新的方向。

📄 摘要（原文）

Large Language Models (LLMs) suffer from order bias, where their performance is affected by the arrangement order of input elements. This unfairness limits the model's applications in scenarios such as in-context learning and Retrieval-Augmented Generation (RAG). Recent studies attempt to obtain optimal or suboptimal arrangements based on statistical results or using dataset-based search, but these methods increase inference overhead while leaving the model's inherent order bias unresolved. Other studies mitigate order sensitivity through supervised fine-tuning using augmented training sets with multiple order variants, but often at the cost of accuracy, trapping the model in consistent yet incorrect hallucinations. In this paper, we propose \textbf{D}ual \textbf{G}roup \textbf{A}dvantage \textbf{O}ptimization (\textbf{DGAO}), which aims to improve model accuracy and order stability simultaneously. DGAO calculates and balances intra-group relative accuracy advantage and inter-group relative stability advantage, rewarding the policy model for generating order-stable and correct outputs while penalizing order-sensitive or incorrect responses. This marks the first time reinforcement learning has been used to mitigate LLMs' order sensitivity. We also propose two new metrics, Consistency Rate and Overconfidence Rate, to reveal the pseudo-stability of previous methods and guide more comprehensive evaluation. Extensive experiments demonstrate that DGAO achieves superior order fairness while improving performance on RAG, mathematical reasoning, and classification tasks. Our code is available at: https://github.com/Hyalinesky/DGAO.