LPDS: Evaluating LLM Robustness Through Logic-Preserving Difficulty Scaling

📄 arXiv: 2605.15393v1 📥 PDF

作者: Philipp Mondorf, Samuel J. Bell, Jesse Dodge, Dieuwke Hupkes

分类: cs.LG

发布日期: 2026-05-14

备注: 41 pages, 31 figures

💡 一句话要点

提出LPDS框架，通过逻辑保持难度缩放评估LLM的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 鲁棒性评估 难度缩放 逻辑保持 变体生成

📋 核心要点

  1. 现有LLM在逻辑不变的情况下，对上下文细节变化的鲁棒性不足，且缺乏系统性的评估方法。
  2. LPDS框架通过量化问题变体的难度，系统搜索最能暴露LLM弱点的变体。
  3. 实验表明，LPDS能有效找到困难变体，导致性能显著下降，且在困难变体上微调能提升鲁棒性。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被部署在需要最少人工监督的任务中，因此模型的鲁棒性至关重要。一个能够解决特定问题的模型，不应仅仅因为名称、数字或其他上下文细节的改变而失败，而底层的问题逻辑保持不变。现有研究表明，目前的LLM在这方面仍存在不足，它们在某些问题变体上成功，但在其他变体上失败。然而，现有的评估方法通常缺乏系统的方法来识别哪些逻辑保持变体最有可能导致失败。相反，它们通常测试允许变体的随机子集，这可能会夸大鲁棒性。为了解决这个问题，我们引入了逻辑保持难度缩放（LPDS），该框架（i）量化问题变体的难度，并且（ii）系统地搜索允许变体的空间，以找到那些最大化难度并暴露失败的变体。我们表明，随着难度增加，性能下降，并且模型推理链中的错误变得更加明显。我们进一步证明，LPDS能够有效地找到模型的困难问题变体，与随机抽样相比，导致性能下降高达5倍。最后，我们表明，在更困难的变体上进行微调比在更容易的变体上训练能带来更一致的鲁棒性提升。

🔬 方法详解

问题定义：论文旨在解决LLM在逻辑保持的情况下，对输入变体（如名称、数字等）的鲁棒性问题。现有评估方法主要依赖随机抽样，无法有效识别导致LLM失败的困难变体，从而可能高估LLM的鲁棒性。

核心思路：论文的核心思路是通过量化问题变体的难度，并系统地搜索变体空间，找到那些能够最大程度暴露LLM弱点的困难变体。通过分析LLM在不同难度变体上的表现，更准确地评估其鲁棒性。

技术框架：LPDS框架包含两个主要组成部分：(1) 难度量化：定义一种方法来衡量问题变体的难度，例如，可以基于变体中实体数量、关系复杂性等因素进行量化。(2) 变体搜索：设计一种搜索策略，系统地探索允许的变体空间，找到那些具有最大难度的变体。这可以通过优化算法或启发式搜索来实现。

关键创新：LPDS的关键创新在于其系统化的难度缩放方法。与随机抽样不同，LPDS能够主动寻找最能挑战LLM的变体，从而更有效地评估其鲁棒性。这种方法能够更准确地揭示LLM的弱点，并为后续的改进提供指导。

关键设计：具体的难度量化方法和变体搜索策略是LPDS的关键设计。难度量化可能涉及定义合适的难度指标，并设计相应的计算方法。变体搜索可能需要选择合适的优化算法或启发式策略，以在可接受的时间内找到足够困难的变体。此外，论文可能还涉及一些超参数的设置，例如搜索步长、搜索范围等。

📊 实验亮点

实验结果表明，LPDS能够有效地找到困难问题变体，导致LLM性能下降高达5倍，远超随机抽样方法。此外，在更困难的变体上进行微调比在更容易的变体上训练能带来更一致的鲁棒性提升。这些结果验证了LPDS框架的有效性，并为LLM的鲁棒性评估和提升提供了新的思路。

🎯 应用场景

LPDS框架可应用于评估和提升LLM在各种实际场景中的鲁棒性，例如问答系统、对话系统、代码生成等。通过识别LLM的弱点，可以针对性地进行微调或改进，提高其在复杂和变化环境中的可靠性。该研究对于开发更值得信赖和可靠的AI系统具有重要意义。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed to perform tasks with minimal human oversight, it is crucial that these models operate robustly. In particular, a model that can solve a given problem should not fail simply because certain entities$\unicode{x2013}$such as names, numbers, or other contextual details$\unicode{x2013}$have changed while the underlying problem logic remains the same. Prior work suggests that current LLMs still struggle with this form of robustness: they often succeed on some variations of a problem but fail on others. However, existing evaluations often lack a systematic way to identify which logic-preserving variations are most likely to induce failure. Instead, they typically test a random subset of allowable variations, which can overstate robustness. To address this gap, we introduce logic-preserving difficulty scaling (LPDS), a framework that (i) quantifies the difficulty of a problem variation and (ii) systematically searches the space of allowable variations to find those that maximize difficulty and expose failures. We show that as difficulty increases, performance declines and errors in the models' reasoning chains become more pronounced. We further demonstrate that LPDS efficiently finds difficult problem variations for a model, resulting in performance drops up to 5 times larger compared to random sampling. Finally, we show that fine-tuning on more difficult variations leads to more consistent robustness gains than training on easier ones.