Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

📄 arXiv: 2607.14709v1 📥 PDF

作者: Yun Dong, Erica Zhao, Elana Chen

分类: cs.CL

发布日期: 2026-07-16

备注: 12 pages, 7 figures

💡 一句话要点

提出金导向程序蒸馏以解决混合表格与文本的金融推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融推理 程序蒸馏 混合数据 数值计算 大型语言模型 执行验证 迭代恢复

📋 核心要点

  1. 现有方法在处理混合表格和文本数据时，容易出现算术错误，导致推理不可靠。
  2. 论文提出通过执行验证的Python程序进行程序蒸馏，确保数值推理的可靠性，避免自然语言推理的错误。
  3. 实验表明，7B的学生模型在测试集上取得87.00 EM和87.18 F1的成绩，显著超越72B的教师模型和其他基线方法。

📝 摘要（中文）

在混合表格和文本的数据上进行金融问答可能需要多源推理和精确的数值计算。尽管大型语言模型（LLMs）能够生成中间推理步骤，但自然语言推理仍容易出现算术错误，使其成为不可靠的蒸馏监督源。基于程序蒸馏，我们提出了一种方法，通过执行验证的Python程序将可靠的数值推理从大型教师模型转移到紧凑的学生模型，而不是使用自由形式的文本推理。该方法利用金标准推导指导教师端程序合成，仅保留执行正确且产生金答案的程序，从而确保高质量的监督。我们进一步引入了迭代恢复阶段，重新审视教师失败的示例，使学生能够恢复并将新验证的程序纳入训练。实验结果表明，我们的框架在混合金融推理中非常有效。

🔬 方法详解

问题定义：本论文旨在解决混合表格和文本数据上的金融问答问题，现有方法在数值推理方面存在算术错误，导致推理结果不可靠。

核心思路：我们提出了一种基于程序蒸馏的方法，通过执行验证的Python程序将可靠的数值推理从大型教师模型转移到紧凑的学生模型，避免了自然语言推理的不足。

技术框架：整体架构包括教师模型生成程序、执行验证程序的正确性、以及将成功执行的程序用于学生模型的训练。我们还引入了迭代恢复阶段，处理教师模型失败的示例。

关键创新：最重要的创新点在于使用执行验证的程序作为监督源，确保了数值推理的可靠性，与传统的文本推理方法形成鲜明对比。

关键设计：在设计中，我们关注程序的正确性和执行结果，确保仅保留那些能够生成金标准答案的程序。此外，迭代恢复阶段的引入使得学生模型能够不断吸收新验证的程序，提升其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，7B的学生模型在测试集上取得87.00 EM和87.18 F1的成绩，显著超越了72B的教师模型（78.46 EM）以及传统和强大的LLM基线方法，如TAGOP和TAT-LLM，验证了执行验证程序蒸馏的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在金融领域的问答系统、智能客服和数据分析等场景中。通过提高模型在复杂数据上的推理能力，可以为决策支持和信息检索提供更可靠的工具，未来可能推动金融科技的发展。

📄 摘要（原文）

Financial question answering over hybrid tabular and textual data may require multi-source reasoning and precise numerical computation. While large language models (LLMs) can generate intermediate reasoning steps, natural-language rationales remain prone to arithmetic errors, making them an unreliable supervision source for distillation. Building on programmatic distillation, we develop an approach that transfers reliable numerical reasoning from a large teacher model to a compact student using execution-verified Python programs instead of free-form textual rationales. It leverages gold derivations to guide teacher-side program synthesis and retains only programs that execute correctly and produce the gold answer, ensuring high-quality supervision. We further introduce an iterative recovery stage that revisits teacher-failed examples, enabling the student to recover and incorporate newly verified programs into training. Experiments on TAT-QA show that our framework is highly effective for hybrid financial reasoning. Our best 7B student achieves 87.00 EM / 87.18 F1 on the test set, substantially outperforming the 72B teacher (78.46 EM) as well as traditional and strong LLM-based baselines, including TAGOP and TAT-LLM. These results demonstrate that execution-verified programmatic distillation provides an effective and extensible framework for training smaller models to perform reliable numerical reasoning.