Robustness is Important: Limitations of LLMs for Data Fitting

📄 arXiv: 2508.19563v3 📥 PDF

作者: Hejia Liu, Mochen Yang, Gediminas Adomavicius

分类: cs.LG, cs.AI, stat.AP, stat.ML

发布日期: 2025-08-27 (更新: 2025-10-28)

💡 一句话要点

揭示LLMs在数据拟合中的脆弱性及其局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据拟合 预测鲁棒性 注意力机制 任务无关变化 模型评估 机器学习

📋 核心要点

  1. 现有LLMs在数据拟合中表现出对无关变化的高度敏感性，导致预测结果不稳定。
  2. 论文通过分析LLMs的注意力机制，揭示了其在处理任务无关变化时的脆弱性。
  3. 实验结果表明，LLMs的预测误差在变量名称变化时可达82%，显示出其鲁棒性不足。

📝 摘要（中文）

大型语言模型（LLMs）在多种场景中被应用，尤其是在数据拟合和预测生成方面。尽管LLMs在预测性能上与许多表格监督学习技术竞争，但我们发现LLMs在数据表示的无关变化下表现出显著的脆弱性。例如，仅仅改变变量名称就可能导致预测误差高达82%。这种对任务无关变化的敏感性在上下文学习和监督微调中均有体现。此外，通过分析开放权重LLM的注意力得分，我们发现训练示例和变量名称/值在提示中的特定位置会获得更多关注，这部分解释了这种敏感性。尽管有针对数据拟合设计的TabPFN模型，仍然无法完全抵御任务无关变化的影响。总体而言，尽管LLMs在预测能力上表现出色，但在作为数据拟合工具时缺乏基本的鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLMs）在数据拟合任务中对无关数据变化的脆弱性。现有方法在处理数据表示变化时，预测结果的稳定性显著下降，无法满足实际应用需求。

核心思路：论文通过分析LLMs的注意力机制，探讨其在上下文学习和监督微调中的表现，揭示了模型对任务无关变化的敏感性。这样的设计旨在深入理解LLMs的预测行为及其局限性。

技术框架：研究采用了对比实验的方法，分析了不同数据表示下LLMs的预测性能，并与专为数据拟合设计的TabPFN模型进行了比较。主要模块包括数据表示变化、模型训练和预测性能评估。

关键创新：论文的主要创新在于揭示了LLMs在处理任务无关变化时的非均匀注意力模式，这一发现与现有方法的关注点不同，强调了模型在特定位置的注意力分配对预测结果的影响。

关键设计：在实验中，设置了多种变量名称变化的场景，采用了标准的损失函数和评估指标，确保了实验结果的可靠性和可比性。

📊 实验亮点

实验结果显示，LLMs在变量名称变化时的预测误差可达82%，而专为数据拟合设计的TabPFN模型在任务无关变化下也未能完全抵御这种影响。这表明当前LLMs在数据拟合任务中的鲁棒性仍然不足，亟需改进。

🎯 应用场景

该研究的潜在应用领域包括金融预测、医疗数据分析和市场趋势分析等。通过提高对数据拟合工具的理解，可以为实际应用提供更可靠的模型选择和优化策略，推动相关领域的技术进步。

📄 摘要（原文）

Large Language Models (LLMs) are being applied in a wide array of settings, well beyond the typical language-oriented use cases. In particular, LLMs are increasingly used as a plug-and-play method for fitting data and generating predictions. Prior work has shown that LLMs, via in-context learning or supervised fine-tuning, can perform competitively with many tabular supervised learning techniques in terms of predictive performance. However, we identify a critical vulnerability of using LLMs for data fitting -- making changes to data representation that are completely irrelevant to the underlying learning task can drastically alter LLMs' predictions on the same data. For example, simply changing variable names can sway the size of prediction error by as much as 82% in certain settings. Such prediction sensitivity with respect to task-irrelevant variations manifests under both in-context learning and supervised fine-tuning, for both close-weight and open-weight general-purpose LLMs. Moreover, by examining the attention scores of an open-weight LLM, we discover a non-uniform attention pattern: training examples and variable names/values which happen to occupy certain positions in the prompt receive more attention when output tokens are generated, even though different positions are expected to receive roughly the same attention. This partially explains the sensitivity in the presence of task-irrelevant variations. We also consider a state-of-the-art tabular foundation model (TabPFN) trained specifically for data fitting. Despite being explicitly designed to achieve prediction robustness, TabPFN is still not immune to task-irrelevant variations. Overall, despite LLMs' impressive predictive capabilities, currently they lack even the basic level of robustness to be used as a principled data-fitting tool.