Blackboard Intelligence Can Surpass Autoregressive on Globally Constrained Problems
作者: Woosang Jeon, Jaeyeon Kim, Sham Kakade, Yilun Du, Amrit Singh Bedi, Arun Kumar Chithanar, Chul Lee, Taehyeong Kim, Sitan Chen
分类: cs.LG, cs.CL
发布日期: 2026-09-30
备注: 32 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出黑板智能以解决复杂全局约束问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 黑板智能 全局约束 推理优化 扩散语言模型 调度问题 资源分配 复杂决策
📋 核心要点
- 现有的自回归模型在处理复杂全局约束问题时表现不佳，限制了其应用范围。
- 论文提出黑板智能，通过在固定画布上进行候选解决方案的搜索，克服了传统推理接口的局限性。
- 在多个任务上，黑板智能显著提高了推理准确性，超越了同规模的自回归模型，展示了其有效性。
📝 摘要（中文）
下一标记预测推动了大规模语言模型的显著进展，但越来越多的证据表明，它们在复杂全局约束问题上表现不佳。本文关注这一领域，探讨下一标记预测的推理接口是否导致这些局限性。我们提出黑板智能的概念，模型在固定的可修订画布上工作，搜索候选解决状态，而不是遵循因果的左到右轨迹。通过扩散语言模型的实例化，我们发现均值置信度可以作为全局一致性的有效代理，指导推理时的搜索与修订。实验证明，黑板智能在ZebraLogic、护士排班和作业车间调度等任务中显著提升推理性能，超越同规模的自回归基线。
🔬 方法详解
问题定义：本文旨在解决自回归模型在复杂全局约束问题上的局限性，尤其是在推理过程中无法有效处理全局一致性的问题。现有方法往往依赖于线性因果推理，难以适应复杂的约束条件。
核心思路：论文提出黑板智能的概念，允许模型在一个固定且可修订的画布上进行推理，搜索候选解决状态，而不是仅仅依赖于顺序的下一标记预测。这种方法能够更灵活地处理全局约束。
技术框架：整体架构包括一个扩散语言模型，模型通过均值置信度来评估全局一致性，并在推理过程中进行搜索和修订。主要模块包括候选状态生成、均值置信度计算和推理过程的迭代修订。
关键创新：最重要的创新在于引入了黑板智能的推理方式，使得模型能够在推理时动态调整候选解决方案，而不是固定在某一条因果路径上。这一方法显著提升了模型在复杂约束下的表现。
关键设计：在技术细节上，使用了标准的掩蔽扩散目标来计算均值置信度，并通过调整模型的参数设置来优化推理过程。网络结构上，保持了LLaDA-8B-Instruct的微调检查点不变，确保了实验的可比性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，黑板智能在ZebraLogic-Hard任务上达到了90.4%的准确率，在护士排班任务上实现了76.4%的精确可行性，在作业车间调度任务上达到了80.2%的最优性。相比同规模的自回归基线，黑板智能在多个任务上均表现出显著的性能提升，尤其是在复杂约束条件下。
🎯 应用场景
该研究的潜在应用领域包括调度优化、资源分配和复杂决策支持系统等。通过提升模型在全局约束问题上的表现，黑板智能有望在实际应用中提供更高效的解决方案，推动智能决策系统的发展。
📄 摘要（原文）
Next-token prediction has driven remarkable progress in large language models, yet a growing body of evidence suggests that they can struggle on problems governed by complex global constraints. In this work, we focus on this regime and ask whether some of these limitations arise from the inference interface induced by next-token prediction itself. We study this question through blackboard intelligence: an inference-time perspective in which a model works on a fixed, revisable canvas and searches over candidate solution states rather than committing to a causal, left-to-right trajectory. We instantiate this idea with diffusion language models, whose any-order prediction interface naturally exposes predictions over partially filled solution states. Our key observation is that mean confidence, a simple model-internal quantity available from the standard masked diffusion objective, provides a useful proxy for global coherence and can guide inference-time search and revision. Empirically, across ZebraLogic, Nurse Rostering, and Job-Shop Scheduling, Blackboard consistently improves inference while holding the fine-tuned LLaDA-8B-Instruct checkpoint fixed and substantially outperforms same-scale autoregressive baselines, reaching 90.4% accuracy on ZebraLogic-Hard, 76.4% exact feasibility on Nurse Rostering, and 80.2% optimality on JSSP. Stronger autoregressive search and refinement also fail to close the gap on ZebraLogic-Hard, while Blackboard surpasses tested frontier LLMs there and on JSSP despite their substantially greater scale and strong test-time reasoning. We open-source our codebase at https://github.com/jwoosang1/blackboard-intelligence.