Why Expert Alignment Is Hard: Evidence from Subjective Evaluation

📄 arXiv: 2605.04972v1 📥 PDF

作者: Tzu-Mi Lin, Wataru Hirota, Tatsuya Ishigaki, Lung-Hao Lee, Chung-Chi Chen

分类: cs.CL

发布日期: 2026-05-06

备注: 10 pages, 2 figures

💡 一句话要点

研究专家对齐的困难：主观评估中的证据揭示专家判断的异质性与不稳定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 专家对齐 主观评估 大语言模型 人工反馈 异质性 隐性知识 维度依赖 时间不稳定性

📋 核心要点

  1. 现有方法难以使大语言模型与专家主观评估对齐，专家意见不一致且依赖隐性知识。
  2. 通过研究不同形式的专家信息对模型对齐的影响，揭示主观判断的本质。
  3. 实验表明，专家评估风格差异大，明确标准不总能改善对齐，且对齐难度因评估维度而异。

📝 摘要（中文）

在大语言模型与专家判断对齐的过程中，主观评估任务尤其困难，因为专家可能存在意见分歧，依赖隐性标准，并且判断会随时间变化。本文通过研究专家对齐来理解这种困难。利用专家评估和后续问卷调查，我们研究了不同形式的专家信息如何影响对齐，以及这揭示了主观判断的哪些方面。我们的研究结果显示了四个一致的模式。首先，对齐难度在专家之间差异很大，表明专家评估风格与模型的先验行为的距离差异很大。其次，明确的标准和推理并不总是能改善对齐，表明专家判断并未完全被口头规则所捕捉。第三，编辑对示例的数量和身份都很敏感，少量编辑提供了有用但不稳定的收益。第四，对齐难度因评估维度而异：更直接基于提案内容的维度更容易对齐，而需要外部知识或基于价值判断的维度仍然更难。总而言之，这些结果表明，专家对齐之所以困难，不仅是因为模型存在局限性，还因为主观评估本质上是异质的、部分隐性的、维度依赖的，并且在时间上不稳定。

🔬 方法详解

问题定义：论文旨在解决大语言模型与专家主观评估对齐困难的问题。现有方法在处理主观评估任务时，由于专家意见不一致、依赖隐性标准以及判断随时间变化等因素，难以有效对齐，导致模型性能受限。现有方法未能充分理解和解决主观评估的异质性、隐性、维度依赖性和时间不稳定性。

核心思路：论文的核心思路是通过深入分析专家评估过程，揭示主观判断的本质特征，从而更好地理解专家对齐的困难。通过研究不同形式的专家信息（如明确的标准、推理过程、编辑示例）对模型对齐的影响，探究哪些因素能够有效改善对齐效果，以及哪些因素会阻碍对齐。

技术框架：论文采用了一种实证研究框架，主要包括以下几个阶段： 1. 专家评估收集：收集专家对大语言模型生成结果的主观评估数据。 2. 问卷调查：通过问卷调查了解专家的评估标准、推理过程和判断依据。 3. 对齐实验：利用不同形式的专家信息（如明确的标准、推理过程、编辑示例）对模型进行微调或调整，观察对齐效果。 4. 结果分析：分析对齐实验的结果，揭示主观判断的本质特征，并探讨如何更好地实现专家对齐。

关键创新：论文最重要的技术创新点在于，它从实证角度深入研究了专家对齐的困难，揭示了主观评估的异质性、隐性、维度依赖性和时间不稳定性。与以往主要关注模型本身局限性的研究不同，本文强调了主观评估本身的复杂性，为解决专家对齐问题提供了新的视角。

关键设计：论文的关键设计包括： 1. 多样化的专家信息：研究了不同形式的专家信息（如明确的标准、推理过程、编辑示例）对对齐效果的影响。 2. 多维度的评估指标：从多个维度评估模型的对齐效果，包括准确率、一致性等。 3. 控制变量：在实验中控制了其他可能影响对齐效果的因素，如模型架构、训练数据等。

📊 实验亮点

实验结果表明，专家评估风格差异显著，对齐难度因专家而异。明确的标准和推理并不总是能改善对齐效果，表明专家判断存在隐性知识。少量编辑示例可以提供有用的收益，但对齐效果不稳定。对齐难度因评估维度而异，基于内容的维度更容易对齐。这些结果强调了主观评估的复杂性，为解决专家对齐问题提供了重要启示。

🎯 应用场景

该研究成果可应用于提升大语言模型在主观评估任务中的性能，例如内容生成、文本摘要、对话系统等。通过更好地理解和解决专家对齐的困难，可以使模型生成更符合人类价值观和偏好的结果，提高用户满意度和信任度。未来，该研究还可以扩展到其他领域，如医疗诊断、法律咨询等，提升人工智能在专业领域的应用水平。

📄 摘要（原文）

Aligning large language models with expert judgment is especially difficult in subjective evaluation tasks, where experts may disagree, rely on tacit criteria, and change their judgments over time. In this paper, we study expert alignment as a way to understand this difficulty. Using expert evaluations and follow-up questionnaires, we examine how different forms of expert information affect alignment and what this reveals about subjective judgment. Our findings show four consistent patterns. First, alignment difficulty varies substantially across experts, suggesting that expert evaluation styles differ widely in their distance from a model's prior behavior. Second, explicit criteria and reasoning do not always improve alignment, indicating that expert judgment is not fully captured by verbalized rules. Third, editing is sensitive to both the number and the identity of examples, with small numbers of edits providing useful but unstable gains. Fourth, alignment difficulty differs across evaluation dimensions: dimensions grounded more directly in proposal content are easier to align, while dimensions requiring external knowledge or value-based judgment remain harder. Taken together, these results suggest that expert alignment is difficult not only because of model limitations, but also because subjective evaluation is inherently heterogeneous, partly tacit, dimension-dependent, and temporally unstable.