MDToC: Metacognitive Dynamic Tree of Concepts for Boosting Mathematical Problem-Solving of Large Language Models

📄 arXiv: 2512.18841v2 📥 PDF

作者: Tung Duong Ta, Tim Oates, Thien Van Luong, Huan Vu, Tien Cuong Nguyen

分类: cs.CL

发布日期: 2025-12-21 (更新: 2025-12-29)

💡 一句话要点

提出MDToC，通过元认知动态概念树提升大语言模型数学问题求解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 数学问题求解 元认知 概念树 计算验证 多数投票 提示工程

📋 核心要点

  1. 现有大语言模型在数学推理方面取得进展，但在计算验证方面仍面临挑战，尤其是在复杂问题中。
  2. MDToC方法构建概念树，对每个概念进行准确性验证的计算，并使用多数投票来评估多个解决方案，提升计算准确性。
  3. 实验表明，MDToC在CHAMP、MATH和Game-of-24等基准测试中显著优于现有方法，无需人工提示即可实现性能提升。

📝 摘要（中文）

本文提出了一种名为MDToC（元认知动态概念树）的三阶段方法，旨在提升大语言模型在数学问题求解中的计算验证能力。该方法首先构建概念树，然后为每个概念开发经过准确性验证的计算过程，最后采用多数投票来评估竞争解决方案。在CHAMP、MATH和Game-of-24基准测试上的评估结果表明，MDToC是有效的。GPT-4-Turbo在这些任务上分别达到了58.1％、86.6％和85％的准确率，优于GoT方法，分别提升了5％、5.4％和4％，且无需人工设计的提示。MDToC始终优于所有骨干模型的现有提示方法，相比ToT方法提升高达7.6％，相比GoT方法提升高达6.2％，证明了元认知计算验证是增强数学推理能力的一个有希望的方向。

🔬 方法详解

问题定义：大语言模型在解决数学问题时，尤其是在需要复杂计算验证的场景下，容易出现计算错误，导致最终答案不准确。现有的提示方法，如思维链（Chain-of-Thought）和思维树（Tree-of-Thoughts），虽然能引导模型进行逐步推理，但缺乏有效的计算验证机制，难以保证每一步计算的正确性。

核心思路：MDToC的核心思路是引入元认知机制，让模型能够反思和验证自己的计算过程。通过构建概念树，将复杂问题分解为更小的、易于验证的子问题，并对每个子问题进行多次计算，然后通过多数投票来选择最可靠的答案。这种方法模拟了人类解决问题时不断检查和验证中间步骤的过程，从而提高整体的准确性。

技术框架：MDToC包含三个主要阶段： 1. 概念树构建（Concept Tree Construction）：将原始问题分解为一系列相关的概念或子问题，形成一个树状结构。 2. 准确性验证计算（Accuracy-Verified Calculation）：针对概念树中的每个节点（概念），进行多次独立的计算，并对计算结果进行验证，例如通过不同的计算方法或工具。 3. 多数投票评估（Majority Voting Evaluation）：对每个概念的多个计算结果进行多数投票，选择最频繁出现的结果作为该概念的最终答案。然后，将这些答案组合起来，得到原始问题的最终解决方案。

关键创新：MDToC的关键创新在于将元认知计算验证引入到大语言模型的数学问题求解过程中。与传统的提示方法不同，MDToC不仅关注推理过程，还强调计算结果的验证。通过构建概念树和采用多数投票，MDToC能够有效地减少计算错误，提高整体的准确性。

关键设计： * 概念树的构建方式：论文中没有明确说明概念树的具体构建方法，可能依赖于人工设计或自动分解算法（具体方法未知）。 * 计算验证的策略：针对不同的概念，可以采用不同的计算方法或工具进行验证（具体策略未知）。 * 多数投票的阈值：需要设置一个阈值来确定多数投票的结果是否可靠。如果投票结果过于分散，可能需要重新计算或采用其他验证方法（具体阈值设置未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MDToC在CHAMP、MATH和Game-of-24基准测试中显著优于现有方法。GPT-4-Turbo在这些任务上分别达到了58.1％、86.6％和85％的准确率，相比GoT方法分别提升了5％、5.4％和4％。MDToC相比ToT方法提升高达7.6％，相比GoT方法提升高达6.2％，证明了其有效性。

🎯 应用场景

MDToC方法可应用于需要高精度计算的领域，如金融分析、科学计算、工程设计等。通过提高大语言模型在数学问题求解方面的准确性，可以减少人工干预，提高工作效率，并为更复杂的决策提供更可靠的支持。未来，该方法有望扩展到其他需要精确推理和验证的任务中。

📄 摘要（原文）

Despite advances in mathematical reasoning capabilities, Large Language Models (LLMs) still struggle with calculation verification when using established prompting techniques. We present MDToC (Metacognitive Dynamic Tree of Concepts), a three-phase approach that constructs a concept tree, develops accuracy-verified calculations for each concept, and employs majority voting to evaluate competing solutions. Evaluations across CHAMP, MATH, and Game-of-24 benchmarks demonstrate our MDToC's effectiveness, with GPT-4-Turbo achieving 58.1\% on CHAMP, 86.6\% on MATH, and 85\% on Game-of-24 - outperforming GoT by 5\%, 5.4\%, and 4\% on all these tasks, respectively, without hand-engineered hints. MDToC consistently surpasses existing prompting methods across all backbone models, yielding improvements of up to 7.6\% over ToT and 6.2\% over GoT, establishing metacognitive calculation verification as a promising direction for enhanced mathematical reasoning.