Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?
作者: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba
分类: cs.LG
发布日期: 2026-05-28
💡 一句话要点
提出Feedback-to-Rubrics方法，从内联评论中学习可复用的专家评估准则。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自然语言处理 大型语言模型 评估准则学习 内联评论 自动评审
📋 核心要点
- 现有大型语言模型在写作评审中缺乏对专家偏好等隐式标准的有效利用，导致评审质量受限。
- 该方法从内联评论中学习可复用的自然语言评估准则，并迭代优化，以适应特定上下文。
- 实验表明，该方法能有效将内联评论提炼为可重用的评估准则，提升评论预测和工件修订效果。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用于写作和评审支持，但其有效性取决于上下文相关的标准，例如专家偏好或组织特定惯例，这些标准通常是隐式的、未记录的且难以直接获取。我们提出了一个问题设定，即从人工撰写或LLM生成的草稿上的累积内联评论中学习可重用的自然语言评估准则。我们的方法从这些评论中推断出评估准则，并通过观察准则条件预测与参考评论之间的评论级不匹配来迭代地改进它们。我们在真实世界的评审环境和具有参考评估准则的受控环境中评估了所提出的方法。结果表明，内联评论可以被提炼成可重用的评估准则，从而支持评论预测、准则理解和自动工件修订。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在写作和评审支持中，难以有效利用专家偏好等隐式标准的问题。现有方法通常依赖于显式定义的规则或直接的人工干预，无法充分利用已有的评审数据（如内联评论）来学习和适应特定领域的评估标准。这导致评审结果的主观性较强，且难以推广到新的场景。
核心思路：论文的核心思路是从已有的内联评论中自动学习可复用的评估准则（rubrics）。通过将内联评论视为专家对文本的反馈，并利用这些反馈来推断和完善评估准则，从而使LLM能够更好地理解和应用特定领域的评估标准。这种方法的核心在于将隐式的专家知识显式化，并将其用于指导LLM的评审过程。
技术框架：该方法包含以下主要阶段：1) 数据收集：收集人工或LLM生成的文本草稿以及相应的内联评论。2) 准则推断：从内联评论中推断出初始的评估准则。这可以通过自然语言处理技术，如关键词提取、主题建模等实现。3) 准则优化：通过观察准则条件预测与参考评论之间的不匹配，迭代地改进评估准则。这可以通过训练一个模型来预测给定文本和评估准则下的评论，并根据预测结果与实际评论的差异来调整评估准则。4) 准则应用：将学习到的评估准则应用于新的文本评审任务，例如评论预测、准则理解和自动工件修订。
关键创新：该方法最重要的技术创新点在于提出了一个从内联评论中学习评估准则的框架。与现有方法相比，该方法能够自动地从已有的评审数据中学习知识，而无需人工定义规则或进行大量的标注工作。此外，该方法还能够迭代地优化评估准则，使其更好地适应特定领域的评估标准。
关键设计：论文的关键设计包括：1) 使用自然语言处理技术从内联评论中提取关键词和主题，作为初始评估准则。2) 设计一个模型来预测给定文本和评估准则下的评论，并使用预测结果与实际评论的差异来优化评估准则。3) 使用特定的损失函数来衡量预测结果与实际评论之间的差异，例如交叉熵损失或余弦相似度损失。4) 采用迭代优化的方法，不断地调整评估准则，直到达到预定的收敛条件。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效地从内联评论中学习可复用的评估准则，并在评论预测、准则理解和自动工件修订等任务上取得了显著的性能提升。在真实世界的评审环境中，该方法能够生成更准确和有用的评论，并帮助评审者更好地理解文本的优点和缺点。在受控环境中，该方法能够学习到与参考评估准则相一致的评估准则。
🎯 应用场景
该研究成果可应用于自动写作辅助、代码评审、论文评审等领域，帮助LLM更好地理解和应用特定领域的评估标准，提高评审效率和质量。通过学习专家评估准则，可以减少人工干预，降低评审成本，并促进知识的积累和传承。未来，该方法有望应用于更广泛的领域，例如教育评估、产品设计等。
📄 摘要（原文）
Large language models (LLMs) are increasingly used for writing and review support, but their usefulness depends on context-dependent criteria, such as expert preferences or organization-specific conventions, that are often tacit, undocumented, and difficult to elicit directly. We propose a problem setting for learning reusable natural-language rubrics from accumulated inline comments on artifacts such as human-written or LLM-generated drafts. Our method infers rubrics from these comments and iteratively refines them by observing comment-wise mismatches between rubric-conditioned predictions and reference comments. We evaluate the proposed method in real-world review settings and in controlled settings with reference rubrics. These results show that inline comments can be distilled into reusable rubrics that support comment prediction, rubric understanding, and automatic artifact revision.