MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier

📄 arXiv: 2603.03756 📥 PDF

作者: Zonglin Yang, Lidong Bing

分类: cs.LG, cs.CE, cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出MOOSE-Star以解决科学发现中的复杂性训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学发现 生成推理 复杂性降低 层次搜索 知识检索 机器学习 数据集

📋 核心要点

  1. 现有方法在科学发现中未能有效建模生成推理过程，导致训练复杂性高且不可处理。
  2. MOOSE-Star通过分解子任务、层次搜索和有界组合等策略，显著降低了训练复杂性，实现可扩展推理。
  3. 实验结果表明，MOOSE-Star在测试时表现出持续的扩展能力，克服了传统方法的复杂性壁垒。

📝 摘要（中文）

尽管大型语言模型在科学发现中展现出潜力，但现有研究主要集中于推理或反馈驱动的训练，未能直接建模生成推理过程$P(h|b)$。我们证明直接训练$P(h|b)$在数学上是不可处理的，原因在于从庞大的知识库中检索和组合灵感所固有的组合复杂性。为了解决这一问题，我们提出了MOOSE-Star，一个统一框架，能够实现可处理的训练和可扩展的推理。MOOSE-Star通过三个主要策略将复杂性从指数级降低到对数级：训练来自发现概率方程的分解子任务、采用动机引导的层次搜索以实现对数检索并修剪无关子空间，以及利用有界组合增强对检索噪声的鲁棒性。我们还发布了TOMATO-Star数据集，包含108,717篇分解论文，用于训练。

🔬 方法详解

问题定义：论文要解决的问题是如何有效训练生成推理过程$P(h|b)$，现有方法因组合复杂性而面临不可处理的挑战。

核心思路：MOOSE-Star的核心思路是通过分解任务和优化检索过程，降低训练复杂性，使得科学发现的推理过程变得可处理。

技术框架：MOOSE-Star的整体架构包括三个主要模块：1) 分解子任务的训练；2) 动机引导的层次搜索；3) 有界组合以增强鲁棒性。

关键创新：MOOSE-Star的关键创新在于将复杂性从指数级降低到对数级，突破了传统方法的复杂性壁垒，允许更高效的训练和推理。

关键设计：在设计中，MOOSE-Star采用了特定的损失函数和网络结构，以支持分解任务的训练，并通过层次搜索策略优化检索过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MOOSE-Star在处理复杂性方面表现出色，相较于传统的暴力采样方法，复杂性从指数级降低到对数级，显著提升了训练和推理的效率，展现出持续的扩展能力。

🎯 应用场景

MOOSE-Star的研究成果在科学发现、知识检索和智能决策等领域具有广泛的应用潜力。通过提高训练效率和推理能力，该框架能够加速科学研究进程，促进新理论和发现的生成，具有重要的实际价值和未来影响。

📄 摘要（原文）

While large language models (LLMs) show promise in scientific discovery, existing research focuses on inference or feedback-driven training, leaving the direct modeling of the generative reasoning process, $P(\text{hypothesis}|\text{background})$ ($P(h|b)$), unexplored. We demonstrate that directly training $P(h|b)$ is mathematically intractable due to the combinatorial complexity ($O(N^k)$) inherent in retrieving and composing inspirations from a vast knowledge base. To break this barrier, we introduce MOOSE-Star, a unified framework enabling tractable training and scalable inference. In the best case, MOOSE-Star reduces complexity from exponential to logarithmic ($O(\log N)$) by (1) training on decomposed subtasks derived from the probabilistic equation of discovery, (2) employing motivation-guided hierarchical search to enable logarithmic retrieval and prune irrelevant subspaces, and (3) utilizing bounded composition for robustness against retrieval noise. To facilitate this, we release TOMATO-Star, a dataset of 108,717 decomposed papers (38,400 GPU hours) for training. Furthermore, we show that while brute-force sampling hits a ''complexity wall,'' MOOSE-Star exhibits continuous test-time scaling.