Structure Tax: How Structured Output affects LLMs Performance
作者: Vineet Kumar, Kanishka, Bhuvanesh Mandora
分类: cs.AI
发布日期: 2026-10-08
备注: AACL IJCNLP 2026 (Main)
💡 一句话要点
提出结构化输出设计以优化大型语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 结构化输出 大型语言模型 推理优先 准确性提升 置信度校准 模式设计 自然语言处理
📋 核心要点
- 现有研究将结构化输出导致的准确性损失视为固有的结构税，缺乏对模式设计影响的深入分析。
- 论文通过评估不同模型和数据集，提出合理的字段排序设计以优化结构化输出的性能。
- 实验结果显示，合理设计的结构化格式在准确性和置信度校准上优于传统自由格式，尤其在小模型中表现显著。
📝 摘要（中文）
在生产环境中部署大型语言模型时，通常需要将输出限制为结构化格式，如JSON或XML。以往的研究将由此导致的准确性损失视为固有的“结构税”。本研究重新审视了这一观点，通过评估多种模型、数据集和模式，测量任务准确性、置信度校准和隐藏状态几何。结果表明，结构税的大小依赖于模式设计，而非结构本身。合理的字段排序能够匹配或超过自由格式的准确性，而不合理的排序则会导致显著下降。我们的发现表明，合理设计的结构化格式可以匹配或超越自由格式的性能，关键问题从“是否结构化”转变为“如何结构化”以优化推理保留。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型在结构化输出时的性能下降问题，现有方法未能充分考虑模式设计对准确性的影响。
核心思路：通过重新设计字段排序，尤其是推理优先的排序，来优化结构化输出的准确性和置信度校准。
技术框架：研究采用多种模型和数据集进行评估，重点测量任务准确性、置信度校准和隐藏状态几何，分析不同模式设计的影响。
关键创新：最重要的创新在于发现结构税依赖于模式设计，而非结构本身，推理优先的字段排序能够显著提升模型性能。
关键设计：研究中使用了不同的字段排序策略，并通过CKA（Centered Kernel Alignment）方法分析中间层的表示 separability，以验证设计的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，推理优先的字段排序在多个任务上能够匹配或超过自由格式的准确性，尤其在小型模型中，准确性提升幅度可达显著水平，且置信度校准效果更佳。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和信息提取等，合理的结构化输出设计能够提升模型在实际应用中的表现，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Deploying large language models in production often requires constraining outputs to structured formats such as JSON or XML, and prior work treats the resulting accuracy loss as an inherent
structure tax'. We re-examine this claim by evaluating a battery of models, datasets and schemas, measuring task accuracy, confidence calibration, and hidden-state geometry. The tax turns out to depend on schema design rather than on structure per se: reasoning-first field ordering matches or exceeds free-form accuracy, while answer-first ordering causes steep drops, particularly in smaller models. Format sensitivity scales inversely with a task's own structural constraints, and schemas that preserve reasoning order also improve calibration with CKA showing greater separability between correct and incorrect representations in middle transformer layers. Our findings indicate that properly designed structured formats can match or exceed free-form performance, reframing the critical question fromwhether to structure' to `how to structure' for optimal reasoning preservation.