RCScore: Quantifying Response Consistency in Large Language Models

📄 arXiv: 2510.26193v1 📥 PDF

作者: Dongjun Jang, Youngchae Ahn, Hyopil Shin

分类: cs.CL

发布日期: 2025-10-30

期刊: EMNLP 2025 Main Conference

💡 一句话要点

RCScore：量化大语言模型对指令形式的响应一致性，评估模型鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指令鲁棒性 响应一致性 模型评估 指令风格 交叉响应相似度 LLM

📋 核心要点

  1. 现有LLM评估忽略了模型对不同指令风格的敏感性，这影响了模型在实际应用中的可靠性。
  2. RCScore通过系统性地改变指令风格，量化模型响应的一致性，从而评估模型的指令鲁棒性。
  3. 实验表明，指令风格显著影响模型准确率，且模型规模与跨风格一致性正相关。

📝 摘要（中文）

当前的大语言模型评估通常依赖于单一的指令模板，忽略了模型对指令风格的敏感性，而这对于实际部署至关重要。我们提出了RCScore，一个多维框架，用于量化指令形式如何影响模型的响应。通过系统地将基准问题转换为多种指令风格，RCScore揭示了传统指标无法检测到的性能变化。我们在四个推理基准上对十个大语言模型进行的实验表明，指令风格可以使准确率变化高达16.7%。我们引入了交叉响应相似度（CRS），一种应用RCScore指标来衡量风格自洽性的方法，并确定了其与任务准确率的强相关性，表明一致性是模型可靠性的一个有价值的代理。其他发现表明，确定性解码产生更具风格稳定性的输出，并且模型规模与跨风格一致性呈正相关。RCScore提供了一种评估指令鲁棒性的原则性方法。

🔬 方法详解

问题定义：现有的大语言模型评估方法主要依赖于单一的指令模板，无法全面评估模型在面对不同指令风格时的表现。这种评估方式忽略了模型对指令形式的敏感性，导致评估结果可能无法准确反映模型在实际应用中的可靠性。因此，需要一种能够量化模型对不同指令风格的响应一致性的评估方法。

核心思路：RCScore的核心思路是通过系统性地改变指令风格，生成同一问题的多个不同指令版本，然后评估模型在这些不同指令下的响应一致性。通过比较模型在不同指令下的输出，可以量化模型对指令风格的敏感程度，从而评估模型的指令鲁棒性。响应一致性越高，表明模型对指令风格的依赖性越低，鲁棒性越好。

技术框架：RCScore框架主要包含以下几个阶段：1) 指令风格转换：将基准问题转换为多种不同的指令风格。2) 模型响应生成：使用大语言模型对不同指令风格的问题进行解答，生成相应的响应。3) 响应一致性评估：使用交叉响应相似度（CRS）等指标，量化模型在不同指令风格下的响应一致性。4) 性能分析：分析响应一致性与任务准确率之间的关系，评估模型的指令鲁棒性。

关键创新：RCScore的关键创新在于提出了一个多维框架，用于量化大语言模型对指令形式的响应一致性。与传统的评估方法不同，RCScore关注的是模型在面对不同指令风格时的表现，而不是仅仅关注模型在单一指令下的准确率。此外，RCScore还引入了交叉响应相似度（CRS）这一指标，用于量化模型在不同指令风格下的响应一致性。

关键设计：RCScore的关键设计包括：1) 指令风格转换策略：如何生成多样化的指令风格，例如使用不同的措辞、句式、语气等。2) 交叉响应相似度（CRS）的计算方法：如何有效地衡量不同响应之间的相似程度，例如使用文本相似度算法。3) 性能指标的选择：如何选择合适的性能指标来评估模型的指令鲁棒性，例如使用准确率、一致性等指标。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，指令风格可以使模型准确率变化高达16.7%。交叉响应相似度（CRS）与任务准确率之间存在强相关性，表明一致性是模型可靠性的一个有价值的代理。确定性解码产生更具风格稳定性的输出，并且模型规模与跨风格一致性呈正相关。这些发现为评估和提升大语言模型的鲁棒性提供了重要的依据。

🎯 应用场景

RCScore可用于评估和提升大语言模型在各种实际应用场景中的可靠性，例如智能客服、内容生成、代码生成等。通过评估模型对不同指令风格的鲁棒性，可以帮助开发者选择更可靠的模型，并优化模型的指令设计，从而提高用户体验和应用效果。此外，RCScore还可以用于模型安全性的评估，例如检测模型是否容易受到对抗性指令的攻击。

📄 摘要（原文）

Current LLM evaluations often rely on a single instruction template, overlooking models' sensitivity to instruction style-a critical aspect for real-world deployments. We present RCScore, a multi-dimensional framework quantifying how instruction formulation affects model responses. By systematically transforming benchmark problems into multiple instruction styles, RCScore reveals performance variations undetected by conventional metrics. Our experiments across ten LLMs on four reasoning benchmarks demonstrate that instruction style can shift accuracy by up to 16.7% points. We introduce Cross-Response Similarity (CRS), a method applying RCScore metrics to measure stylistic self-consistency, and establish its strong correlation with task accuracy, suggesting consistency as a valuable proxy for model reliability. Additional findings show that deterministic decoding produces more stylistically stable outputs, and model scale correlates positively with cross-style consistency. RCScore offers a principled approach to assess instruction robustness.