Theorem-Validated Reverse Chain-of-Thought Problem Generation for Geometric Reasoning

📄 arXiv: 2410.17885v4 📥 PDF

作者: Linger Deng, Linghao Zhu, Yuliang Liu, Yu Wang, Qunyi Xie, Jingjing Wu, Gang Zhang, Yingying Zhu, Xiang Bai

分类: cs.AI, cs.CV

发布日期: 2024-10-23 (更新: 2025-05-30)

💡 一句话要点

提出定理验证的反向CoT问题生成框架，提升几何推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何推理 思维链 多模态学习 反向推理 定理验证

📋 核心要点

  1. 现有几何推理的CoT数据生成方法难以兼顾多样性和精确性，限制了LMMs的性能。
  2. 提出TR-CoT框架，通过定理驱动的几何图生成和反向推理，合成高质量的CoT数据。
  3. 实验表明，该方法显著提升了几何推理能力，并在MathVista和GeoQA数据集上超越了现有模型。

📝 摘要（中文）

大型多模态模型(LMMs)在几何推理方面面临局限性，原因是缺乏足够的思维链(CoT)图像-文本训练数据。现有方法通常采用基于模板或LLM辅助的方法来创建几何CoT数据，但在实现多样性和精确性方面面临挑战。为了弥补这一差距，我们引入了一个两阶段的定理验证反向思维链推理合成(TR-CoT)框架。第一阶段，TR-Engine，合成基于定理的几何图，包含结构化描述和属性。第二阶段，TR-Reasoner，采用反向推理，通过交叉验证几何属性和描述片段来迭代地细化问题-答案对。我们的方法扩展了定理类型的覆盖范围，纠正了长期存在的误解，并增强了几何推理能力。精细化的CoT将定理理解能力提高了24.5%，并增加了逻辑一致性。我们最好的模型在MathVista和GeoQA上分别超过基线10.1%和4.7%，优于像GPT-4o这样的先进闭源模型。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型在几何推理中由于缺乏高质量思维链（CoT）训练数据而导致的性能瓶颈。现有方法，如基于模板或LLM辅助的数据生成，要么缺乏多样性，要么精度不足，难以有效提升模型的几何推理能力。

核心思路：论文的核心思路是利用几何定理作为先验知识，反向生成CoT数据。首先，TR-Engine基于定理生成几何图及其结构化描述；然后，TR-Reasoner通过反向推理，从几何图的属性和描述出发，逐步构建问题-答案对，并进行交叉验证，确保数据质量。这种反向生成的方式能够保证数据的逻辑一致性和定理正确性。

技术框架：TR-CoT框架包含两个主要阶段：TR-Engine和TR-Reasoner。TR-Engine负责生成定理驱动的几何图，包括图形、结构化描述和几何属性。TR-Reasoner则利用这些信息，通过反向推理生成问题-答案对，并进行交叉验证，确保问题和答案的逻辑一致性。整个流程从定理出发，生成几何图，再反向推导出问题和答案，形成完整的CoT数据。

关键创新：该方法最重要的创新点在于其定理验证的反向推理机制。与传统的正向生成CoT数据的方法不同，TR-CoT从几何定理出发，反向构建问题-答案对，保证了数据的逻辑一致性和定理正确性。此外，通过交叉验证几何属性和描述片段，进一步提升了数据的质量。

关键设计：TR-Engine的关键设计在于如何将几何定理转化为可执行的图形生成规则和结构化描述。TR-Reasoner的关键设计在于反向推理的策略，如何从几何图的属性和描述出发，逐步构建出合理的问题和答案。具体的参数设置和网络结构在论文中可能没有详细描述，属于未知的技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TR-CoT框架能够显著提升几何推理能力。在MathVista和GeoQA数据集上，该方法分别超过基线模型10.1%和4.7%，甚至优于像GPT-4o这样的先进闭源模型。此外，精细化的CoT将定理理解能力提高了24.5%，并增加了逻辑一致性，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于提升多模态模型在教育、科学研究、工程设计等领域的几何推理能力。例如，可以用于开发智能几何学习系统，辅助学生理解和解决几何问题；也可以应用于机器人导航和场景理解，提升机器人在复杂环境中的感知和决策能力。未来，该方法有望扩展到其他需要逻辑推理的领域。

📄 摘要（原文）

Large Multimodal Models (LMMs) face limitations in geometric reasoning due to insufficient Chain of Thought (CoT) image-text training data. While existing approaches leverage template-based or LLM-assisted methods for geometric CoT data creation, they often face challenges in achieving both diversity and precision. To bridge this gap, we introduce a two-stage Theorem-Validated Reverse Chain-of-Thought Reasoning Synthesis (TR-CoT) framework. The first stage, TR-Engine, synthesizes theorem-grounded geometric diagrams with structured descriptions and properties. The second stage, TR-Reasoner, employs reverse reasoning to iteratively refine question-answer pairs by cross-validating geometric properties and description fragments. Our approach expands theorem-type coverage, corrects long-standing misunderstandings, and enhances geometric reasoning. Fine-grained CoT improves theorem understanding and increases logical consistency by 24.5%. Our best models surpass the baselines in MathVista and GeoQA by 10.1% and 4.7%, outperforming advanced closed-source models like GPT-4o.