Evaluation Ability Does Not Imply Optimization Utility: LLM-as-a-Judge Signals in Closed-Loop Table Recognition

📄 arXiv: 2607.13347v1 📥 PDF

作者: Donghwan Kim

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-07-15

备注: 31 pages, 9 figures, appendix included

💡 一句话要点

研究表明LLM评估能力不等于优化效用

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 表格识别 闭环再生 LLM评估 结构保持 优化效用 机器学习 信息提取

📋 核心要点

  1. 现有方法在表格识别中使用LLM作为评估者，但评估信号的有效性和优化能力不足。
  2. 论文提出通过结构保持约束来改善闭环再生过程中的严重损失问题，强调验证信号的重要性。
  3. 实验结果显示，结构保持指令有效降低了严重损失率，但未能提升整体性能，揭示了评估与优化的区别。

📝 摘要（中文）

LLM作为评估者在闭环再生中提供反馈和选择信号的应用尚未得到充分验证。本文研究了表格识别中的LLM评估，发现评估信号在两个数据集上均较弱，且仅有一种选择策略在随机选择上表现优越。即使没有具体的评估反馈，仍然出现严重损失。结构保持指令显著降低了FinTabNet上的严重损失率。最后，结构保持约束虽然减少了严重损失的尾部，但未能带来整体改善。这些结果表明，评估能力并不意味着优化效用，迭代改进至少需要一个能够确定性检测结构变化的验证信号，而不仅仅依赖评估分数。

🔬 方法详解

问题定义：本文旨在解决LLM作为评估者在闭环再生中的有效性不足，尤其是在表格识别任务中的应用痛点。现有方法未能充分利用评估信号来优化生成结果，导致严重损失。

核心思路：论文的核心思路是引入结构保持约束，以提高生成过程中的目标保持能力，并强调验证信号在迭代改进中的重要性。通过这种设计，期望能够更好地检测和修正结构变化。

技术框架：整体架构包括数据输入、LLM评估模块、结构保持约束实施和结果生成四个主要阶段。首先，输入数据经过LLM评估，生成初步结果，然后通过结构保持约束进行优化，最后输出改进后的结果。

关键创新：最重要的技术创新在于提出了结构保持约束的概念，强调了评估能力与优化效用之间的区别。这一创新使得生成过程能够更好地保持目标结构，避免了传统方法中的严重损失。

关键设计：在实验中，采用了特定的损失函数来量化结构变化，并设置了迭代次数和评估策略，以确保生成结果的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在FinTabNet上，结构保持指令显著降低了严重损失率，而在OmniDocBench上也表现出一致的方向性改善。尽管如此，整体性能未见提升，表明评估能力与优化效用之间的复杂关系。

🎯 应用场景

该研究的潜在应用领域包括文档自动化处理、数据表格生成和信息提取等。通过优化表格识别过程，能够提高相关系统的准确性和效率，具有重要的实际价值。未来，研究成果可能推动更广泛的LLM应用，提升智能系统的决策能力。

📄 摘要（原文）

LLM-as-a-judge is widely used to provide feedback and selection signals in closedloop regeneration, but this use remains insufficiently validated. We study it in table recognition, where deterministic TEDS evaluation provides a controlled testbed, using FinTabNet and OmniDocBench. Three findings emerge. First, judge signals were weak on both datasets: scores frequently tied, rankings were not reproducible, and the only selection policy that beat random on both datasets depended on an earliest-iteration tie rule, so its advantage cannot be attributed to the judge scores alone. Iteration produced better candidates, but the judge failed to recover them. Second, severe losses occurred even without specific judge feedback. A structurepreserving instruction significantly reduced the severe-loss rate on FinTabNet and was directionally consistent on OmniDocBench. The contrasts support target-preservation failure under unconstrained regeneration as a proximate mechanism of the observed severe losses. Third, the structure-preservation constraint reduced the severe-loss tail but produced no improvement. In an exploratory 2x2 analysis, the same protection was not stably observed when judge feedback was retained. These results do not dispute the value of LLMs as evaluators. Instead, they show that evaluation ability does not imply optimization utility. Iterative refinement requires, at minimum, a verification signal that deterministically detects structural change, rather than judge scores alone.