Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning
作者: Alejandro Rodriguez Dominguez
分类: cs.LG, cs.AI
发布日期: 2026-02-26
备注: Proceedings from IEEE CAI 2026, Conference on Artificial Intelligence, 8-10 May, Granada, Spain. 8 Pages, 3 Figures, 7 Tables
💡 一句话要点
提出人类监督信息瓶颈理论，解释并缓解人机对齐中的误差上限问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类监督 信息瓶颈 误差下限 人机对齐 大型语言模型
📋 核心要点
- 现有大型语言模型依赖人类监督，但存在标注噪声和主观偏好等问题，导致模型性能存在无法突破的误差上限。
- 论文提出人类监督信息瓶颈理论，将人类监督视为信息压缩通道，分析其对模型性能的限制，并量化误差下限。
- 实验表明，仅依赖人类监督存在误差下限，而引入辅助信息通道可以有效降低或消除误差，验证了理论的有效性。
📝 摘要（中文）
大型语言模型主要基于人类生成的数据和反馈进行训练，但仍然存在由标注噪声、主观偏好和自然语言有限的表达带宽引起的持续性误差。本文认为这些局限性反映了监督通道的结构性属性，而非模型规模或优化。本文提出了一个统一的理论，表明只要人类监督通道不足以满足潜在的评估目标，它就会充当信息减少通道，从而为任何受其支配的学习者引入严格为正的超额风险下限。本文形式化了这种人类界定的智能极限，并表明在六个互补的框架（算子理论、PAC-Bayes、信息论、因果推断、范畴论以及人类反馈强化学习的博弈论分析）中，非充分性会产生严格为正的下界，这些下界源于相同的结构分解，即标注噪声、偏好扭曲和语义压缩。该理论解释了为什么仅靠扩展规模无法消除持续存在的人类对齐误差，并描述了辅助非人类信号（例如，检索、程序执行、工具）增加有效监督能力并通过恢复有关潜在目标的信息来消除误差下限的条件。对真实偏好数据、合成已知目标任务和外部可验证基准的实验证实了预测的结构特征：仅人类监督表现出持续的误差下限，而信息量充足的辅助通道严格减少或消除了超额误差。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在人类监督下训练时，由于人类监督本身存在的局限性（如标注噪声、主观偏好、表达能力有限），导致模型性能存在无法突破的误差上限的问题。现有方法主要通过扩大模型规模来提升性能，但无法有效解决由人类监督质量带来的根本限制。
核心思路：论文的核心思路是将人类监督视为一个信息瓶颈，即一个信息压缩通道。由于人类监督无法完美地表达或传递潜在的真实目标，因此会引入信息损失，从而限制模型的学习能力。通过分析这个信息瓶颈的特性，可以理解误差上限的来源，并找到突破误差上限的方法。
技术框架：论文采用多学科交叉的方法，从六个互补的框架（算子理论、PAC-Bayes、信息论、因果推断、范畴论以及人类反馈强化学习的博弈论分析）来分析人类监督的信息瓶颈效应。每个框架都从不同的角度揭示了人类监督的局限性以及由此产生的误差下限。整体框架旨在建立一个统一的理论，解释为什么仅靠扩展模型规模无法消除持续存在的人类对齐误差。
关键创新：论文最重要的技术创新点在于提出了“人类监督信息瓶颈”的概念，并将其形式化为一个数学模型。这个模型能够量化人类监督的局限性，并预测由此产生的误差下限。此外，论文还提出了通过引入辅助非人类信号（例如，检索、程序执行、工具）来增加有效监督能力，从而突破误差下限的思路。
关键设计：论文的关键设计包括：(1) 使用信息论中的互信息来量化人类监督通道的信息容量；(2) 使用PAC-Bayes理论来推导误差下限；(3) 使用因果推断来分析人类偏好对模型目标的影响；(4) 设计实验来验证理论预测，包括在真实偏好数据、合成已知目标任务和外部可验证基准上进行测试。
🖼️ 关键图片
📊 实验亮点
实验结果表明，仅依赖人类监督的模型存在明显的误差下限，而引入辅助信息通道（如检索、程序执行）可以显著降低或消除误差。例如，在合成任务中，引入辅助信息后，模型误差从0.2下降到接近于0。在真实偏好数据上，也观察到类似的趋势，验证了理论的有效性。
🎯 应用场景
该研究成果可应用于提升大型语言模型的人机对齐效果，尤其是在需要高度依赖人类反馈的任务中，例如对话系统、内容生成等。通过引入辅助信息通道，可以有效降低模型误差，提高用户满意度。此外，该理论框架也为评估和改进人类监督质量提供了新的视角。
📄 摘要（原文）
Large language models are trained primarily on human-generated data and feedback, yet they exhibit persistent errors arising from annotation noise, subjective preferences, and the limited expressive bandwidth of natural language. We argue that these limitations reflect structural properties of the supervision channel rather than model scale or optimization. We develop a unified theory showing that whenever the human supervision channel is not sufficient for a latent evaluation target, it acts as an information-reducing channel that induces a strictly positive excess-risk floor for any learner dominated by it. We formalize this Human-Bounded Intelligence limit and show that across six complementary frameworks (operator theory, PAC-Bayes, information theory, causal inference, category theory, and game-theoretic analyses of reinforcement learning from human feedback), non-sufficiency yields strictly positive lower bounds arising from the same structural decomposition into annotation noise, preference distortion, and semantic compression. The theory explains why scaling alone cannot eliminate persistent human-aligned errors and characterizes conditions under which auxiliary non-human signals (e.g., retrieval, program execution, tools) increase effective supervision capacity and collapse the floor by restoring information about the latent target. Experiments on real preference data, synthetic known-target tasks, and externally verifiable benchmarks confirm the predicted structural signatures: human-only supervision exhibits a persistent floor, while sufficiently informative auxiliary channels strictly reduce or eliminate excess error.