Less is More: Recursive Reasoning with Tiny Networks

📄 arXiv: 2510.04871v1 📥 PDF

作者: Alexia Jolicoeur-Martineau

分类: cs.LG, cs.AI

发布日期: 2025-10-06

💡 一句话要点

提出TRM：使用极小网络进行递归推理，超越大型语言模型在难题上的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 递归推理 小模型 ARC-AGI 神经网络 泛化能力

📋 核心要点

  1. 现有层级推理模型(HRM)在难题解决上表现出色，但结构复杂，泛化能力有待提高。
  2. TRM通过单层极小网络进行递归推理，简化了模型结构，提升了泛化性能。
  3. 实验表明，TRM在ARC-AGI等任务上超越了参数量远大于自身的LLM。

📝 摘要（中文）

层级推理模型(HRM)是一种新颖的方法，它使用两个以不同频率递归的小型神经网络。这种受生物学启发的模型在诸如数独、迷宫和ARC-AGI等难题任务上击败了大型语言模型(LLM)，同时使用小型模型(27M参数)在少量数据(约1000个示例)上进行训练。HRM在用小型网络解决难题方面具有很大的潜力，但尚未被充分理解，并且可能不是最优的。我们提出了Tiny Recursive Model (TRM)，一种更简单的递归推理方法，它实现了比HRM显著更高的泛化能力，同时使用一个只有2层的极小网络。TRM仅有7M参数，在ARC-AGI-1上获得了45%的测试准确率，在ARC-AGI-2上获得了8%的测试准确率，高于大多数LLM(例如，Deepseek R1、o3-mini、Gemini 2.5 Pro)，而参数量不到它们的0.01%。

🔬 方法详解

问题定义：论文旨在解决复杂推理问题，例如ARC-AGI。现有方法，特别是大型语言模型（LLM）虽然在许多任务上表现出色，但在需要抽象推理和泛化的任务上，往往需要巨大的参数量和训练数据。HRM虽然在小数据上表现良好，但其复杂性限制了泛化能力。

核心思路：论文的核心思路是“少即是多”，即通过极小的网络结构和递归推理机制，实现强大的推理能力。这种设计受到生物神经系统的启发，认为复杂的认知功能可以通过简单单元的重复使用来实现。

技术框架：TRM的核心是一个两层神经网络，该网络被递归地应用于输入数据。具体流程如下：1. 输入数据经过预处理；2. 预处理后的数据输入到两层神经网络中；3. 网络的输出被反馈回输入端，进行下一轮递归；4. 经过若干轮递归后，网络的最终输出作为推理结果。

关键创新：TRM的关键创新在于其极简的设计和递归推理机制。与传统的深度学习模型相比，TRM的参数量非常小，但通过递归推理，可以模拟复杂的推理过程。与HRM相比，TRM的结构更加简单，更容易训练和泛化。

关键设计：TRM的关键设计包括：1. 使用两层神经网络作为基本推理单元；2. 通过递归次数控制推理深度；3. 使用适当的损失函数来训练网络，使其能够学习到有效的推理策略。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

TRM仅使用7M参数，在ARC-AGI-1上获得了45%的测试准确率，在ARC-AGI-2上获得了8%的测试准确率。这一结果超越了参数量远大于自身的LLM，例如Deepseek R1、o3-mini和Gemini 2.5 Pro。这表明TRM在小模型推理方面具有显著优势。

🎯 应用场景

TRM的潜在应用领域包括：机器人控制、游戏AI、自动化推理、以及需要小模型和低功耗的边缘计算设备。该研究的实际价值在于提供了一种新的解决复杂推理问题的方法，并表明小模型在特定任务上可以超越大模型。未来影响可能包括推动更高效、更绿色的AI发展。

📄 摘要（原文）

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.