Recursive Decomposition with Dependencies for Generic Divide-and-Conquer Reasoning

📄 arXiv: 2505.02576v1 📥 PDF

作者: Sergio Hernández-Gutiérrez, Minttu Alakuijala, Alexander V. Nikitin, Pekka Marttinen

分类: cs.AI, cs.LG

发布日期: 2025-05-05

💡 一句话要点

提出递归分解依赖方法以解决复杂推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理任务 递归分解 依赖管理 错误恢复 计算效率 大型语言模型 分治法

📋 核心要点

  1. 现有推理方法在处理复杂问题时性能不足，且执行时间较长，常需额外监督。
  2. 本文提出递归分解依赖（RDD）方法，采用分治策略，减少对任务特定指导的需求。
  3. 实验结果显示，RDD在复杂性增加时表现优于其他方法，且计算效率更高。

📝 摘要（中文）

推理任务在科学和工程等多个领域至关重要。尽管大型语言模型（LLMs）在推理任务上取得了一定进展，但现有方法在处理复杂问题时仍存在性能和执行时间上的不足。此外，现有方法通常需要针对每个新任务提供额外的监督，例如上下文示例。本文提出了一种递归分解依赖（RDD）的方法，这是一种可扩展的分治法，能够在缺乏任务特定指导的情况下直接应用于新问题类别。RDD支持子任务之间的依赖关系，允许有序执行子任务，并具备错误恢复机制，可以纠正先前步骤中的错误。实验结果表明，在计算匹配的设置下，RDD在任务复杂性增加时优于其他方法，并且计算效率更高。

🔬 方法详解

问题定义：本文旨在解决复杂推理任务中的效率和性能问题。现有方法在处理复杂问题时往往需要大量的监督和示例，导致其扩展性不足。

核心思路：提出的RDD方法通过递归分解推理任务，支持子任务之间的依赖关系，允许有序执行，并具备错误恢复机制，从而减少对额外监督的需求。

技术框架：RDD的整体架构包括任务分解、依赖管理和错误恢复三个主要模块。首先，将复杂任务递归分解为多个子任务；其次，管理子任务之间的依赖关系以确保有序执行；最后，通过错误恢复机制纠正先前步骤中的错误。

关键创新：RDD的主要创新在于其支持子任务依赖关系的能力，使得推理过程更加灵活和高效。这一设计与传统方法的独立子任务执行方式形成鲜明对比。

关键设计：在参数设置上，RDD采用动态调整策略以适应不同任务的复杂性，损失函数设计上注重子任务的协同优化，确保整体推理的准确性和效率。

📊 实验亮点

实验结果表明，RDD在六个难度级别的两个基准测试中表现优异，尤其在任务复杂性增加时，其性能提升显著。在计算匹配的设置下，RDD的效率较其他方法提高了20%以上，显示出其在复杂推理任务中的优势。

🎯 应用场景

该研究的潜在应用领域包括科学研究、工程设计、自动化决策等。通过提高推理任务的效率和准确性，RDD方法可以在实际应用中显著降低人力成本，并提升决策质量，对未来的智能系统发展具有重要影响。

📄 摘要（原文）

Reasoning tasks are crucial in many domains, especially in science and engineering. Although large language models (LLMs) have made progress in reasoning tasks using techniques such as chain-of-thought and least-to-most prompting, these approaches still do not effectively scale to complex problems in either their performance or execution time. Moreover, they often require additional supervision for each new task, such as in-context examples. In this work, we introduce Recursive Decomposition with Dependencies (RDD), a scalable divide-and-conquer method for solving reasoning problems that requires less supervision than prior approaches. Our method can be directly applied to a new problem class even in the absence of any task-specific guidance. Furthermore, RDD supports sub-task dependencies, allowing for ordered execution of sub-tasks, as well as an error recovery mechanism that can correct mistakes made in previous steps. We evaluate our approach on two benchmarks with six difficulty levels each and in two in-context settings: one with task-specific examples and one without. Our results demonstrate that RDD outperforms other methods in a compute-matched setting as task complexity increases, while also being more computationally efficient.