Goldsmith: Gold-Loss-Guided Definition Optimization with an Agentic Annotation Harness
作者: Yihan Li, Hanyi Zhang, Xiaoxi Jiang, Man Guo
分类: cs.CL
发布日期: 2026-10-07
备注: 20 pages, 4 figures, 11 tables. Accepted to the main conference of EMNLP 2026
💡 一句话要点
提出Goldsmith以解决稀缺专家监督下的注释定义优化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 注释优化 结构化定义 专家监督 自然语言处理 计算机视觉
📋 核心要点
- 现有方法在缺乏稳定的注释指南和足够标注数据时，难以有效进行任务定义和注释。
- Goldsmith通过将小规模的金标准集转化为可训练的结构化注释定义，提供了一种新的注释优化方法。
- 实验结果显示，Goldsmith在多个基准测试中优于现有方法，显著提升了下游注释任务的效果。
📝 摘要（中文）
许多注释项目在专家尚未建立稳定指南或足够标签以训练特定任务模型之前就已开始。本文提出Goldsmith，一个智能化的管道，将小规模的金标准集（专家标注的校准示例）转化为可重用的结构化注释定义。Goldsmith将该定义视为可训练的文本对象，候选定义在相同的金标准示例上运行，并通过可执行的结构化损失进行评分。最终，Goldsmith在匹配评估协议下，相较于直接重写、OPRO、APE和PromptBreeder等方法表现出更好的效果，且结合检索、基于评分的路由和人工审查后，提升了下游注释的质量。这些结果表明，稀缺的专家监督可以支持任务定义学习和可扩展的注释。
🔬 方法详解
问题定义：本文旨在解决在缺乏稳定注释指南和足够标注数据的情况下，如何有效进行任务定义和注释的问题。现有方法往往依赖大量专家标注，导致效率低下和效果不佳。
核心思路：Goldsmith的核心思路是将小规模的金标准集视为可训练的结构化注释定义，通过智能化的管道优化注释过程。该方法通过对候选定义进行评分，选择最佳定义以减少损失，从而实现高效的注释优化。
技术框架：Goldsmith的整体架构包括多个模块：首先，输入金标准集；然后，生成候选定义并在金标准上进行评分；接着，利用大型语言模型（LLM）编辑器对高损失的失败案例进行文本梯度修正；最后，结合检索、评分路由和人工审查进行下游注释。
关键创新：Goldsmith的主要创新在于将注释定义视为可训练的文本对象，并通过结构化损失进行优化。这一方法与传统的依赖大量标注的方式本质上不同，能够在专家监督稀缺的情况下实现有效的任务定义学习。
关键设计：在技术细节上，Goldsmith使用了可执行的结构化损失函数，确保候选定义的优化过程是可控的。此外，LLM编辑器的设计使得只有在损失降低时，文本修正才会被接受，从而保证了优化的有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，Goldsmith在匹配评估协议下，相较于直接重写、OPRO、APE和PromptBreeder等方法，表现出显著的提升。具体而言，Goldsmith在下游注释任务中结合检索和人工审查后，提升了注释质量，展示了其在稀缺专家监督下的有效性。
🎯 应用场景
Goldsmith的研究成果在多个领域具有潜在应用价值，特别是在需要快速构建注释系统的场景，如自然语言处理、计算机视觉和人机交互等。通过有效利用稀缺的专家监督，该方法可以加速注释过程，提高数据质量，进而推动相关领域的研究与应用发展。
📄 摘要（原文）
Many annotation projects begin before experts have a stable guideline or enough labels to train a task-specific model. We present Goldsmith, an agentic pipeline that turns a small gold set---expert-annotated calibration examples representing the intended task boundaries---into a reusable structured annotation definition. Goldsmith treats this definition as a trainable textual object. Candidate definitions are run on the same gold examples and scored with an executable structured loss, while the output schema, formatting, retrieval, repair, judging, and human review remain in an external harness. A large language model (LLM) editor converts the highest-loss failures into textual-gradient revisions, which are accepted only when the measured loss decreases. In prompt-optimization comparisons, Goldsmith improves over direct rewriting, OPRO, APE, and PromptBreeder under matched evaluation protocols. The resulting definition also improves downstream annotation when combined with retrieval, score-based routing, and human review across typed span, pair-level relation, and fixed-trigger event-argument tasks. These results show that scarce expert supervision can support both task-definition learning and scalable annotation.