Evaluating Spatiotemporal Consistency in Automatically Generated Sewing Instructions
作者: Luisa Geiger, Mareike Hartmann, Michael Sullivan, Alexander Koller
分类: cs.CL
发布日期: 2025-09-29
备注: 18 pages, 14 figures; to be published in EMNLP 2025 proceedings
💡 一句话要点
提出一种基于树结构的自动评估指标，用于评估LLM生成的缝纫指令的时空一致性。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 缝纫指令评估 时空一致性 树结构表示 自然语言生成 大型语言模型
📋 核心要点
- 现有评估指标在评估LLM生成的装配指令时，难以准确捕捉时空一致性，导致评估结果与人类认知存在偏差。
- 论文提出一种基于树结构的自动评估指标，该指标能够更有效地衡量指令的时空合理性，从而提升评估的准确性。
- 实验结果表明，该指标与人工标注和人类质量评级具有更高的一致性，并且对对抗性样本具有更强的鲁棒性。
📝 摘要（中文）
本文提出了一种新颖的、基于树结构的自动评估指标，用于评估大型语言模型（LLM）生成的逐步装配指令。相比于传统的BLEU和BERT相似度得分等指标，该指标能更准确地反映构造过程中的时空方面。我们将提出的指标应用于缝纫指令领域，并表明我们的指标与人工标注的错误计数以及人类质量评级更好地相关联，证明了我们的指标在评估缝纫指令的时空合理性方面的优越性。进一步的实验表明，我们的指标比传统方法更稳健，能够抵抗专门构建的对抗性示例，这些示例旨在混淆依赖于文本相似性的指标。
🔬 方法详解
问题定义：论文旨在解决如何有效评估大型语言模型生成的缝纫指令的时空一致性问题。现有方法，如BLEU和BERT相似度得分，主要关注文本相似性，无法准确捕捉指令执行过程中的空间关系和时间顺序，导致评估结果与实际质量不符。这些方法对细微的语义变化敏感，容易受到对抗样本的干扰。
核心思路：论文的核心思路是将缝纫指令解析为树状结构，该结构能够显式地表示指令之间的依赖关系和操作顺序。通过比较生成指令树和参考指令树的结构相似性，可以更准确地评估指令的时空一致性。这种方法避免了直接比较文本，从而降低了对文本相似性的依赖，提高了鲁棒性。
技术框架：该方法包含以下主要步骤：1) 将生成的缝纫指令和参考指令解析为树状结构，节点表示操作，边表示依赖关系；2) 定义树之间的相似度度量，考虑节点的内容相似性和边的结构相似性；3) 计算生成指令树和参考指令树的相似度得分，作为评估指标。整体流程是从文本指令到树结构表示，再到树结构相似度计算，最终得到评估分数。
关键创新：最重要的创新点在于使用树结构来表示和评估缝纫指令的时空一致性。与传统的基于文本相似性的方法相比，该方法能够更有效地捕捉指令之间的依赖关系和操作顺序，从而更准确地评估指令的质量。此外，该方法对对抗样本具有更强的鲁棒性，因为树结构的微小变化通常不会显著影响其相似度。
关键设计：论文中树结构的构建方式和相似度度量是关键设计。树结构的节点可以包含操作类型、操作对象等信息，边表示操作之间的依赖关系。相似度度量可以采用编辑距离、子树匹配等方法，并根据具体任务进行调整。损失函数的设计取决于具体的训练目标，例如，可以采用排序损失来优化指标与人工标注之间的相关性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的基于树结构的评估指标与人工标注的错误计数和人类质量评级具有更高的相关性，显著优于传统的BLEU和BERT相似度得分。此外，该指标对专门构建的对抗性示例表现出更强的鲁棒性，证明了其在评估缝纫指令时空一致性方面的优越性。
🎯 应用场景
该研究成果可应用于自动化服装设计、虚拟缝纫教学、机器人辅助缝纫等领域。通过自动评估LLM生成的缝纫指令，可以提高指令的质量和可靠性，降低人工干预的需求，从而提高生产效率和教学效果。此外，该方法还可以推广到其他装配指令的评估，例如家具组装、电子产品维修等。
📄 摘要（原文）
In this paper, we propose a novel, automatic tree-based evaluation metric for LLM-generated step-by-step assembly instructions, that more accurately reflects spatiotemporal aspects of construction than traditional metrics such as BLEU and BERT similarity scores. We apply our proposed metric to the domain of sewing instructions, and show that our metric better correlates with manually-annotated error counts as well as human quality ratings, demonstrating our metric's superiority for evaluating the spatiotemporal soundness of sewing instructions. Further experiments show that our metric is more robust than traditional approaches against artificially-constructed counterfactual examples that are specifically constructed to confound metrics that rely on textual similarity.