SOLAR: Scalable Optimization of Large-scale Architecture for Reasoning

📄 arXiv: 2503.04530v3 📥 PDF

作者: Chen Li, Yinyi Luo, Anudeep Bolimera, Uzair Ahmed, Shri Kiran Srinivasan, Hrishikesh Gokhale, Marios Savvides

分类: cs.AI

发布日期: 2025-03-06 (更新: 2025-05-16)

💡 一句话要点

SOLAR框架通过动态优化推理拓扑结构，提升大语言模型在复杂推理任务上的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理 拓扑结构优化 链式思考 树状思考 图状思考 课程学习 多任务学习

📋 核心要点

  1. 现有大语言模型在推理方面表现出色，但依赖于CoT提示，限制了其在需要复杂拓扑结构的任务上的性能。
  2. SOLAR框架通过动态优化CoT、ToT和GoT等拓扑结构，并结合拓扑结构标注生成和缩放技术，提升推理的准确性和效率。
  3. 实验表明，SOLAR在MATH和GSM8K数据集上取得了显著的性能提升，同时降低了响应长度和推理延迟。

📝 摘要（中文）

本文提出SOLAR（Scalable Optimization of Large-scale Architecture for Reasoning）框架，旨在动态优化Chain-of-Thought (CoT)、Tree-of-Thought (ToT)和Graph-of-Thought (GoT)等推理拓扑结构，从而提高准确性和效率。该框架包含拓扑结构标注生成（TAG）系统，可自动创建数据集、标注并进行难度分级，从而增强后训练和测试时的性能。此外，还提出了拓扑结构缩放（Topological-Scaling）方法，这是一种基于课程学习的方法，可自适应地结合后训练和推理缩放来适应每个任务。在MATH和GSM8K数据集上，SOLAR取得了显著的提升：通过拓扑结构调优提高5%的准确率，通过拓扑结构奖励提高9%的准确率，通过混合缩放提高10.02%的准确率，同时将响应长度缩短5%以上，降低了推理延迟。为了进一步提高效率，引入了多任务拓扑结构奖励模型（M-TRM），该模型可以在一次传递中选择最佳推理拓扑结构和最终答案，无需多个单任务TRM。M-TRM也超越了所有单任务TRM，准确率提高了10%，排序相关性提高了9%。总体而言，SOLAR为可扩展、高精度LLM推理建立了一个新的基准，并引入了一种完全自动化的动态拓扑结构竞争机制。

🔬 方法详解

问题定义：论文旨在解决大语言模型在复杂推理任务中，由于过度依赖Chain-of-Thought (CoT) 提示而导致的性能瓶颈问题。现有方法难以有效处理需要更复杂拓扑结构（如Tree-of-Thought (ToT) 或 Graph-of-Thought (GoT)）的推理任务，并且缺乏自动化的拓扑结构优化和选择机制。

核心思路：论文的核心思路是动态地优化推理拓扑结构，使其能够根据任务的复杂程度自适应地选择最合适的推理路径。通过引入拓扑结构标注生成（TAG）系统和拓扑结构缩放（Topological-Scaling）方法，实现对不同拓扑结构的自动探索、学习和选择，从而提高推理的准确性和效率。

技术框架：SOLAR框架包含以下主要模块：1) 拓扑结构标注生成（TAG）系统：用于自动创建数据集、标注并进行难度分级，为后续的拓扑结构学习提供高质量的训练数据。2) 拓扑结构调优（Topological Tuning）：利用TAG系统生成的数据对模型进行微调，使其能够更好地理解和利用不同的拓扑结构。3) 拓扑结构奖励（Topological Rewarding）：使用奖励模型来评估不同拓扑结构的推理结果，并根据奖励值来优化模型的推理策略。4) 拓扑结构缩放（Topological-Scaling）：一种基于课程学习的方法，自适应地结合后训练和推理缩放，以适应不同的任务难度。5) 多任务拓扑结构奖励模型（M-TRM）：在一次传递中选择最佳推理拓扑结构和最终答案，提高推理效率。

关键创新：SOLAR框架的关键创新在于其动态拓扑结构优化机制，能够根据任务的特点自适应地选择最合适的推理拓扑结构。与传统的静态CoT方法相比，SOLAR能够更好地处理需要复杂推理路径的任务，并且通过自动化标注和缩放技术，降低了人工干预的成本。M-TRM的引入进一步提高了推理效率，使其能够在一次传递中完成拓扑结构选择和答案生成。

关键设计：TAG系统通过自动化的规则和启发式方法生成不同难度的推理拓扑结构，并对每个拓扑结构进行标注。拓扑结构奖励模型使用Transformer架构，以推理过程中的中间状态和最终答案作为输入，预测奖励值。拓扑结构缩放方法通过课程学习的方式，逐步增加训练数据的难度，使模型能够更好地适应不同的任务。M-TRM采用多任务学习的方式，同时预测拓扑结构和答案，并使用交叉熵损失函数进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SOLAR在MATH和GSM8K数据集上取得了显著的性能提升。通过拓扑结构调优，准确率提高了5%；通过拓扑结构奖励，准确率提高了9%；通过混合缩放，准确率提高了10.02%。同时，响应长度缩短了5%以上，推理延迟也得到了降低。多任务拓扑结构奖励模型（M-TRM）超越了所有单任务TRM，准确率提高了10%，排序相关性提高了9%。

🎯 应用场景

SOLAR框架可应用于各种需要复杂推理的场景，例如数学问题求解、逻辑推理、知识图谱推理等。该框架能够提升大语言模型在这些领域的性能，并降低推理成本，具有广泛的应用前景。未来，SOLAR可以进一步扩展到其他模态，例如视觉推理和多模态推理。

📄 摘要（原文）

Large Language Models excel in reasoning yet often rely on Chain-of-Thought prompts, limiting performance on tasks demanding more nuanced topological structures. We present SOLAR (Scalable Optimization of Large-scale Architecture for Reasoning), a framework that dynamically optimizes Chain-of-Thought (CoT), Tree-of-Thought (ToT), and Graph-of-Thought (GoT) topologies to boost accuracy and efficiency. Our Topological-Annotation-Generation (TAG) system automates dataset creation, annotation, and difficulty segmentation, leading to stronger post training and test-time performance. We also propose Topological-Scaling, a curriculum-learning-based approach that adaptively combines post training and inference scaling to each task. On MATH and GSM8K, SOLAR delivers notable gains: +5% accuracy with Topological Tuning, +9% with Topological Rewarding, and +10.02% with Hybrid Scaling, while reducing response length by over 5%, lowering inference latency. To further enhance efficiency, we introduce a multi-task Topological Reward Model (M-TRM) that selects both the optimal reasoning topology and final answer in a single pass, eliminating multiple single-task TRMs. Remarkably, M-TRM also surpasses all single-task TRMs, improving accuracy by +10% and rank correlation by +9%. Overall, SOLAR establishes a new benchmark for scalable, high-precision LLM reasoning and introduces a fully automated, dynamic topology competition mechanism.