Order Independence With Finetuning

📄 arXiv: 2503.23483v1 📥 PDF

作者: Katrina Brown, Reid McIlroy

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-30

备注: Published as a Bi-Align workshop paper at ICLR 2025

💡 一句话要点

通过微调提升LLM的顺序无关性，解决多项选择题中的位置偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 顺序无关性 微调 集合提示 位置偏见 多项选择题 鲁棒性

📋 核心要点

  1. 大型语言模型对token顺序敏感，即使语义相同，重新排列选项也会影响预测结果，产生位置偏见。
  2. 论文提出一种微调策略，将基于集合的提示（SBP）融入训练，使模型适应集合格式的输入，提升顺序无关性。
  3. 实验表明，该方法在多项选择题任务中显著提高了准确性和鲁棒性，同时保持了语言建模能力。

📝 摘要（中文）

大型语言模型（LLMs）在许多NLP任务上表现出色，但常常表现出顺序依赖性：简单地重新排列语义相同的token（例如，多项选择题中的答案选项）可能导致不一致的预测。最近的研究提出了基于集合的提示（SBP）作为一种从指定的token子集中移除顺序信息的方法，从而减轻位置偏见。然而，在基础模型上应用SBP会引入一种超出分布的输入格式，这可能会降低分布内的性能。我们引入了一种微调策略，将SBP集成到训练过程中，将这些集合格式的提示“拉”到更接近模型的训练流形。我们表明，SBP可以通过微调整合到模型中。我们在分布内（MMLU）和超出分布（CSQA，ARC Challenge）的多项选择任务上的实验表明，SBP微调显著提高了准确性和对答案顺序排列的鲁棒性，同时保留了更广泛的语言建模能力。我们讨论了顺序不变建模的更广泛意义，并概述了构建更公平、更一致的LLM的未来方向。

🔬 方法详解

问题定义：大型语言模型在处理多项选择题时，容易受到答案选项顺序的影响，即使选项的语义内容不变，不同的排列顺序也会导致模型给出不同的预测结果。这种顺序依赖性源于模型对输入token位置的敏感性，导致模型产生位置偏见。现有的基于集合的提示（SBP）方法试图通过移除顺序信息来解决这个问题，但直接应用于预训练模型会导致输入分布偏移，降低模型在原始分布上的性能。

核心思路：论文的核心思路是通过微调的方式，使模型适应SBP引入的集合格式输入，从而在消除顺序依赖性的同时，保持甚至提升模型在原始分布上的性能。具体来说，就是通过在训练过程中引入SBP，让模型学习到如何处理集合格式的提示，从而将这些提示“拉”到更接近模型的训练流形。

技术框架：整体框架包括以下几个步骤：1. 使用SBP对输入进行处理，将答案选项转换为集合格式。2. 使用转换后的输入对预训练语言模型进行微调。3. 在微调过程中，使用标准的语言建模损失函数，使模型学习到如何处理集合格式的提示。4. 在评估阶段，使用不同的答案选项排列顺序对模型进行测试，评估模型的顺序无关性和准确性。

关键创新：最重要的创新点在于将SBP与微调相结合，克服了直接应用SBP导致的输入分布偏移问题。通过微调，模型能够学习到如何处理集合格式的提示，从而在消除顺序依赖性的同时，保持甚至提升模型在原始分布上的性能。这与直接应用SBP导致性能下降形成了鲜明对比。

关键设计：关键设计包括：1. SBP的具体实现方式，例如如何将答案选项转换为集合格式。2. 微调过程中的学习率、batch size等超参数设置。3. 损失函数的选择，通常使用标准的语言建模损失函数。4. 数据集的选择，需要包含足够的多样性，以保证模型能够泛化到不同的任务和领域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过SBP微调，模型在MMLU、CSQA和ARC Challenge等多个多项选择题数据集上都取得了显著的性能提升。例如，在CSQA数据集上，模型的准确率提升了X%，同时对答案顺序排列的鲁棒性也得到了显著提高。这些结果表明，该方法能够有效地消除顺序依赖性，并提高模型的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要顺序无关性的大型语言模型应用场景，例如多项选择题、信息检索、推荐系统等。通过提高模型的公平性和一致性，可以提升用户体验，并减少模型产生偏见的可能性。未来，该方法可以推广到更广泛的NLP任务中，构建更可靠、更值得信赖的AI系统。

📄 摘要（原文）

Large language models (LLMs) demonstrate remarkable performance on many NLP tasks, yet often exhibit order dependence: simply reordering semantically identical tokens (e.g., answer choices in multiple-choice questions) can lead to inconsistent predictions. Recent work proposes Set-Based Prompting (SBP) as a way to remove order information from designated token subsets, thereby mitigating positional biases. However, applying SBP on base models induces an out-of-distribution input format, which can degrade in-distribution performance. We introduce a fine-tuning strategy that integrates SBP into the training process, "pulling" these set-formatted prompts closer to the model's training manifold. We show that SBP can be incorporated into a model via fine-tuning. Our experiments on in-distribution (MMLU) and out-of-distribution (CSQA, ARC Challenge) multiple-choice tasks show that SBP fine-tuning significantly improves accuracy and robustness to answer-order permutations, all while preserving broader language modeling capabilities. We discuss the broader implications of order-invariant modeling and outline future directions for building fairer, more consistent LLMs.