Generalization Is Stability, Not Accuracy: Multi-Axis Evaluation of LLMs

📄 arXiv: 2610.01428v1 📥 PDF

作者: Nagham Omar, Mahmoud Jabarin, Maya Rozenshtein, Rom Himelstein, Avi Mendelson, Amit LeVi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-01

备注: Accepted at the TAE (Trust-AI-Eval) Workshop: Can We Trust AI Evaluation?, NeurIPS 2026

💡 一句话要点

提出稳定性意识的泛化目标以评估大型语言模型的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 泛化能力 稳定性评估 模型行为 多维度分析

📋 核心要点

  1. 现有方法通常通过单一提示格式的准确率评估泛化能力，忽视了模型在不同输入变体下的行为变化。
  2. 本文提出稳定性意识的泛化目标（SAGO），通过评估模型在不同输入变体下的行为变化来衡量泛化能力。
  3. 实验结果显示，许多模型在泛化能力上存在显著的不稳定性，且不同的行为轴捕捉到独立的失败模式。

📝 摘要（中文）

在大型语言模型（LLMs）中，泛化能力是指在不同表达方式下产生一致且语义稳定的输出。现有研究通常通过单一提示格式的聚合准确率来评估泛化，这混淆了鲁棒性与整体基准性能。本文提出了一种新的评估方法，关注个体示例的泛化评估，强调模型行为的可变性。我们引入了稳定性意识的泛化目标（SAGO），该框架测量相同输入在不同变体下模型行为的变化，捕捉生成一致性、内部激活、置信度和响应镜像等多个维度的可变性。研究表明，许多常用模型表现出显著且一致的泛化不稳定性，且没有模型能够均匀泛化。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型泛化能力评估方法的不足，特别是通过单一准确率指标来评估模型的泛化能力，未能反映模型在不同输入变体下的行为变化。

核心思路：论文提出稳定性意识的泛化目标（SAGO），强调模型在面对不同输入变体时的行为一致性，而非仅依赖于整体性能评分。通过关注可变性，提供更全面的泛化评估。

技术框架：SAGO框架包括多个模块，首先收集不同输入变体的模型输出，然后分析生成一致性、内部激活、置信度和响应镜像等多个维度的变化，最终综合评估模型的泛化能力。

关键创新：最重要的创新在于将泛化评估从单一准确率转向多维度的行为变化分析，揭示了模型在不同输入下的泛化不稳定性，提供了新的评估视角。

关键设计：在设计上，SAGO框架采用了多种评估指标，包括生成一致性和内部激活的统计分析，确保能够全面捕捉模型在不同输入变体下的行为变化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，许多常用模型在泛化能力上存在显著的不稳定性，且不同的行为轴捕捉到独立的失败模式。具体而言，模型在不同数据集上的排名可能会发生逆转，显示出泛化能力的复杂性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过更准确地评估模型的泛化能力，研究可以帮助开发出更鲁棒和可靠的语言模型，提升实际应用中的表现和用户体验。

📄 摘要（原文）

Generalization in large language models (LLMs) is the ability to produce consistent and semantically stable outputs when the same input is expressed in different ways. Existing work typically evaluates generalization through aggregate accuracy on a single prompt format, task, or set of variations, which conflates robustness with overall benchmark performance. In this work, we show generalization evaluation at the level of individual examples, across multiple input variants, and across different aspects of model behavior, focusing on variability rather than reducing performance to a score that can be improved through narrow training or other ways that obfuscate generalization evaluation. Following this view, we introduce the Stability-Aware Generalization Objective (SAGO), a framework that measures how much model behavior changes for the same input under different variations and benchmarks, capturing variability across several dimensions including generation consistency, internal activations, confidence, and response mirroring. We show that many commonly used models exhibit statistically significant and consistent generalization instability: no model generalizes uniformly, behavioral axes capture independent failure modes, and cross-dataset variation can reverse model rankings.