Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing
作者: Jingxuan Chen, Mohammad Taher Pilehvar, Jose Camacho-Collados
分类: cs.AI
发布日期: 2026-10-21
💡 一句话要点
研究实例顺序对LLM多实例处理的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多实例处理 实例顺序 模型评估 聚合预测
📋 核心要点
- 现有的多实例处理方法在处理实例顺序时存在显著的准确性差异，影响模型的预测结果。
- 本文通过评估不同实例顺序对LLM的影响，提出了在多实例处理时考虑实例顺序的必要性。
- 实验结果显示，模型在多数标签实例位于开头时准确率更高，且不同顺序模式下的准确率差异可达90个百分点。
📝 摘要（中文）
随着用户越来越依赖大型语言模型（LLMs）分析独立输入集合，如产品评论或社交媒体帖子，并返回单一聚合答案，本文研究了多实例处理（MIP）中的实例顺序对模型预测的影响。我们评估了15个LLM在5个数据集和7种实例顺序模式下的表现，发现模型的准确性对实例顺序敏感，最佳和最差顺序模式之间的准确率差异可达90个百分点。模型在多数标签实例位于开头时表现更佳，而在中间或末尾时表现较差。这些结果表明，实例顺序可能系统性地影响聚合预测，强调了在不同输入排列下评估MIP的必要性。
🔬 方法详解
问题定义：本文旨在解决在多实例处理（MIP）任务中，实例顺序对模型预测的影响。现有方法未能充分考虑实例顺序的变化，导致预测结果的不稳定性。
核心思路：通过系统评估不同实例顺序对模型性能的影响，揭示实例顺序对聚合预测的潜在偏差，强调在多实例处理时需考虑实例的排列顺序。
技术框架：研究设计包括对15个LLM在5个数据集上的评估，采用7种不同的实例顺序模式，保持每个实例集在不同模式下不变，以观察模型的表现差异。
关键创新：最重要的创新在于系统性地揭示了实例顺序对模型预测的影响，尤其是多数标签实例在序列中的位置如何影响最终的聚合结果，这与传统的MIP方法有本质区别。
关键设计：在实验中，采用了可用的推理轨迹和基于梯度的归因方法，发现模型对早期实例的强调更为明显，且归因分数在序列的开始和结束部分普遍较高。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在不同的实例顺序模式下，模型的准确率差异可达90个百分点。具体而言，当多数标签实例位于开头时，模型的表现显著优于当这些实例位于中间或末尾的情况。这一发现强调了在多实例处理任务中考虑实例顺序的重要性。
🎯 应用场景
该研究的潜在应用领域包括产品评论分析、社交媒体内容聚合和其他需要从多个独立输入中提取信息的任务。通过理解实例顺序对模型预测的影响，开发者可以优化模型的输入处理方式，从而提高聚合结果的准确性和可靠性。
📄 摘要（原文）
Users increasingly rely on large language models (LLMs) to analyse collections of independent inputs, such as product reviews or social media posts, and return a single aggregated answer. This setting requires multi-instance processing (MIP), where a model combines information from multiple instances into one prediction. We study a task in which the model must infer a binary label for each instance, and identify the most frequent label among the full instance set. The correct answer should be invariant to instance order. By evaluating fifteen LLMs across five datasets and seven instance order patterns, with each instance set held fixed across patterns, we find substantial order sensitivity. Accuracy can differ by about 90 percentage points between the best and worst order patterns, with models generally more accurate when majority-label instances appear at the start than when they appear in the middle or at the end. For subsets of models, available reasoning traces and gradient-based attribution reveal uneven emphasis across positions. Traces disproportionately mention early instances, while attribution scores are generally higher near the beginning and end than in the middle. These results show that instance order can systematically bias aggregated predictions, highlighting the need to evaluate MIP across different input arrangements.