Bridging the Arithmetic Gap: The Cognitive Complexity Benchmark and Financial-PoT for Robust Financial Reasoning

📄 arXiv: 2601.21157v1 📥 PDF

作者: Boxiang Zhao, Qince Li, Zhonghao Wang, Yi Wang, Peng Cheng, Bo Lin

分类: cs.AI, cs.CL

发布日期: 2026-01-29

💡 一句话要点

提出认知复杂度基准CCB与Financial-PoT框架，提升LLM在金融量化推理中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融量化推理 大语言模型 认知复杂度 神经符号计算 架构解耦

📋 核心要点

  1. 大型语言模型在金融量化推理中存在“算术幻觉”和“认知崩溃”问题，导致推理结果不准确。
  2. 提出迭代双阶段Financial-PoT框架，通过架构解耦，隔离语义理解和数值计算，提升推理的鲁棒性。
  3. 在认知复杂度基准CCB上的实验表明，该方法显著提升了模型在复杂金融推理任务中的准确率，最高提升达10倍。

📝 摘要（中文）

大型语言模型在语义任务中表现出色，但在金融量化推理方面面临瓶颈，经常出现“算术幻觉”和系统性失效模式，即“认知崩溃”。为了严格量化这种现象，我们引入了认知复杂度基准（CCB），这是一个基于95份真实中国A股年度报告构建的数据集上的鲁棒评估框架。与传统数据集不同，CCB将金融查询分层为数据来源、映射难度和结果单位三个维度，从而能够精确诊断高认知负荷场景下的推理退化。为了解决这些问题，我们提出了迭代双阶段Financial-PoT框架。这种神经符号架构强制执行严格的架构解耦：首先隔离语义变量提取和逻辑公式制定，然后将计算卸载到迭代的、自我纠正的Python沙箱，以确保确定性执行。在CCB上的评估表明，虽然标准的思维链在复杂任务上表现不佳，但我们的方法提供了卓越的鲁棒性，将Qwen3-235B模型的平均准确率从59.7%提高到67.3%，并在高复杂度推理任务中实现了高达10倍的增益。这些发现表明，架构解耦是提高金融推理任务可靠性的关键因素，为需要在语义理解和定量计算之间紧密对齐的精密关键领域提供了可转移的架构见解。

🔬 方法详解

问题定义：现有的大型语言模型在处理金融领域的量化推理任务时，容易出现“算术幻觉”和“认知崩溃”现象，导致计算结果错误。传统的Chain-of-Thought方法在复杂任务中表现不佳，无法保证推理的准确性和可靠性。因此，需要一种更鲁棒的方法来解决金融量化推理问题。

核心思路：论文的核心思路是采用架构解耦的方式，将语义变量提取和逻辑公式制定与数值计算过程分离。通过这种方式，可以避免语义理解中的错误影响数值计算的准确性，并利用Python沙箱进行迭代计算和自我纠正，从而提高推理的鲁棒性。

技术框架：论文提出的Iterative Dual-Phase Financial-PoT框架包含两个主要阶段：语义理解阶段和数值计算阶段。在语义理解阶段，模型负责从金融文本中提取关键变量和构建逻辑公式。在数值计算阶段，将提取的变量和公式输入到Python沙箱中进行迭代计算，并进行自我纠正，最终得到准确的计算结果。

关键创新：该方法最重要的创新点在于架构解耦的设计，它将语义理解和数值计算分离，避免了两者之间的相互干扰。此外，利用Python沙箱进行迭代计算和自我纠正，进一步提高了计算的准确性和可靠性。

关键设计：Financial-PoT框架的关键设计包括：1) 精心设计的提示工程，用于指导模型进行语义变量提取和逻辑公式制定；2) Python沙箱环境，用于执行数值计算和进行自我纠正；3) 迭代计算机制，通过多次迭代来提高计算的准确性。具体的参数设置和网络结构等细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，提出的Financial-PoT框架在认知复杂度基准CCB上显著提升了Qwen3-235B模型的性能。在复杂任务上，该方法将模型的平均准确率从59.7%提高到67.3%，并且在高复杂度推理任务中实现了高达10倍的增益。这表明该方法在提高金融量化推理的鲁棒性方面具有显著优势。

🎯 应用场景

该研究成果可应用于金融领域的智能投顾、风险评估、财务报表分析等场景。通过提高LLM在金融量化推理中的准确性和可靠性，可以为金融从业者提供更可靠的决策支持，并降低投资风险。未来，该方法有望推广到其他需要高精度计算的领域，如医疗、工程等。

📄 摘要（原文）

While Large Language Models excel at semantic tasks, they face a critical bottleneck in financial quantitative reasoning, frequently suffering from "Arithmetic Hallucinations" and a systemic failure mode we term "Cognitive Collapse". To strictly quantify this phenomenon, we introduce the Cognitive Complexity Benchmark (CCB), a robust evaluation framework grounded in a dataset constructed from 95 real-world Chinese A-share annual reports. Unlike traditional datasets, the CCB stratifies financial queries into a three-dimensional taxonomy, Data Source, Mapping Difficulty, and Result Unit, enabling the precise diagnosis of reasoning degradation in high-cognitive-load scenarios. To address these failures, we propose the Iterative Dual-Phase Financial-PoT framework. This neuro-symbolic architecture enforces a strict architectural decoupling: it first isolates semantic variable extraction and logic formulation, then offloads computation to an iterative, self-correcting Python sandbox to ensure deterministic execution. Evaluation on the CCB demonstrates that while standard Chain-of-Thought falters on complex tasks, our approach offers superior robustness, elevating the Qwen3-235B model's average accuracy from 59.7\% to 67.3\% and achieving gains of up to 10-fold in high-complexity reasoning tasks. These findings suggest that architectural decoupling is a critical enabling factor for improving reliability in financial reasoning tasks, providing a transferable architectural insight for precision-critical domains that require tight alignment between semantic understanding and quantitative computation.