ReFormBench: Benchmarking the Stability of Response-Conditioned Format Correction in Large Language Models
作者: Tianxiang Gao, Yahan Li, Chenlu Guo, Diana Inkpen, Yi Chang, Yuan Wu
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出ReFormBench以评估大语言模型的格式响应稳定性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 格式遵循 基准测试 响应稳定性 自然语言处理 模型评估 合规性评分
📋 核心要点
- 现有方法无法有效区分模型格式保持与修正，导致合规评分不足以评估模型在不同指令下的表现稳定性。
- 本文提出ReFormBench基准，通过无约束响应作为格式基线，评估模型在不同变体下的格式遵循能力。
- 实验表明，EMCR在十个模型中表现不一，且通过提示实验提升了模型的合规性和修正评分，覆盖了大部分实例。
📝 摘要（中文）
大语言模型的可靠使用要求其响应满足不断变化的格式要求。然而，现有的合规评分无法区分模型观察到的格式保持与其修正，也无法揭示这种修正是否在不同变体中保持一致。为此，本文提出了ReFormBench，一个基准测试，利用每个模型对同一问题的无约束响应作为格式基线。该基准通过特征和要求/禁止模式链接目标，评估其在不同变体中的实现要求。ReFormBench包含5000个经过难度筛选的三约束测试实例，来源于910个问题，涵盖66个格式特征。实验结果显示，十个模型的EMCR范围为34.04%至64.72%，最高三目标修正估计为50.02%。合规性和修正评分产生了不同的模型排名和任务级别特征。
🔬 方法详解
问题定义：本文旨在解决大语言模型在响应格式上的稳定性问题，现有方法未能有效区分格式保持与修正，导致合规性评估的局限性。
核心思路：ReFormBench基准通过使用模型对同一问题的无约束响应作为格式基线，链接特征和要求，评估不同变体下的格式遵循能力。
技术框架：整体架构包括数据集构建、特征链接、合规性和修正评分计算等模块，确保全面评估模型响应的格式稳定性。
关键创新：ReFormBench的最大创新在于将响应条件的修正作为格式遵循的可测量维度，提供了新的评估标准，与传统方法形成鲜明对比。
关键设计：设计中使用了5000个经过筛选的测试实例，结合TCPR和EMCR两种评分机制，确保评估的全面性和准确性。每个模型的响应被细致分析，以揭示其在格式遵循方面的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EMCR在十个模型中的范围为34.04%至64.72%，而最高的三目标修正估计为50.02%。通过对Qwen3.5-9B的提示实验，合规性和修正评分均有所提升，且覆盖了超过95%的提取实例，展示了ReFormBench的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和自动化内容生成等。通过提供一个标准化的评估基准，ReFormBench能够帮助研究人员和开发者更好地理解和改进大语言模型在格式遵循方面的能力，推动相关技术的进步和应用。
📄 摘要（原文）
Reliable use of large language models requires responses to satisfy formatting requirements across changing instructions. Standard compliance scores do not distinguish preserving a model's observed format from correcting it, or reveal whether that correction holds across variants. We introduce ReFormBench, a benchmark that uses each model's unconstrained response to the same question as its formatting baseline. It links targets by feature and require/forbid mode, evaluating their instantiated requirements across variants. ReFormBench comprises 5,000 difficulty-screened three-constraint test instances derived from 910 source questions and covering 66 formatting features. TCPR measures complete instruction compliance, while EMCR measures individual and joint correction of targets opposed to the annotated baseline state. Across ten models, EMCR ranges from 34.04% to 64.72%, and the highest three-target correction estimate is 50.02%. Compliance and correction scores yield different model rankings and task-level profiles. A prompting experiment on Qwen3.5-9B improves both metrics, and the catalog covers over 95% of extracted instances on four additional models. ReFormBench makes response-conditioned correction across instruction variants a measurable dimension of format following. The code and data are available at https://anonymous.4open.science/r/ReFormBench/.