Data-Centric Post-Training for Financial Reasoning: Mining, Distillation, and Verifiable Learning

📄 arXiv: 2609.10113v1 📥 PDF

作者: Zhirayr Hayrapetyan, Andrei Kalmykov, Denis Kokosinskii, Dmitry Stanishevskii, Dmitry Zmitrovich

分类: cs.CL

发布日期: 2026-09-09

备注: 12 pages, 1 figure, 3 tables. Technical report

💡 一句话要点

提出数据中心后训练方法以提升金融推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 金融推理 数据中心 后训练 自蒸馏 问答系统 模型适应 知识图谱 强化学习

📋 核心要点

  1. 现有的问答对缺乏明确推理和可靠答案，限制了金融推理模型的有效性。
  2. 提出了一种数据中心的管道，通过挖掘、蒸馏和生成问答对来构建互补语料库。
  3. 实验结果表明，自蒸馏微调相比普通微调提高了1.0-2.8个百分点，显示出适应性改进的潜力。

📝 摘要（中文）

金融文本、教科书和问答对的数量丰富，但仅有少部分可用于推理聚焦的后训练。现有的问答对往往缺乏明确的推理、足够的上下文或可靠的可验证答案，而教科书需要先转化为合成训练示例。本文提出了一种数据中心的管道，通过挖掘开源推理痕迹、蒸馏金融指令数据以及从金融教育材料生成知识图谱引导的问答对，构建互补语料库。经过语义去重后，三个轻量级序列分类器选择与金融相关的示例，拒绝不明确的问题，并识别适合使用紧凑规则验证器的强化学习任务。我们研究了监督微调和强化学习的模型适应方法，同时使用自蒸馏微调和后训练模型合并来防止损失初始模型中已有的金融能力。通过FINESSE-Bench评估适应后的语言模型，报告了整体性能和相对于起始检查点的变化。

🔬 方法详解

问题定义：本文旨在解决现有金融推理模型在问答对中缺乏明确推理和可靠答案的问题，导致模型性能受限。

核心思路：通过构建数据中心的管道，挖掘开源推理痕迹和生成知识图谱引导的问答对，来增强模型的训练数据质量和多样性。

技术框架：整体架构包括数据挖掘、数据蒸馏和问答对生成三个主要模块，经过语义去重后，使用轻量级序列分类器进行示例选择和任务识别。

关键创新：最重要的创新在于结合自蒸馏微调和后训练模型合并的方法，能够有效保留模型的金融能力，避免普通微调带来的性能下降。

关键设计：在模型适应过程中，采用监督微调和强化学习，同时设计了紧凑的规则验证器来评估任务的适用性，确保模型在金融推理任务中的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，普通监督微调（SFT）导致FINESSE-Bench准确率下降3.2-4.0个百分点，而自蒸馏微调则提升了1.0-2.8个百分点。等权重合并方法恢复了3.0个百分点的性能，最终超越了原始模型0.9个百分点，表明该方法在金融推理任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融智能助手、自动问答系统和教育工具等，能够提升金融领域的知识获取和推理能力。未来，随着数据中心方法的推广，可能会对金融科技的发展产生深远影响。

📄 摘要（原文）

Financial text, textbooks, and question-answer pairs are abundant, but only a small fraction is directly usable for reasoning-focused post-training. Existing QA pairs often lack explicit reasoning, sufficient context, or reliably verifiable answers, while textbooks must first be transformed into synthetic training examples. We present a data-centric pipeline that constructs complementary corpora by mining open-source reasoning traces, distilling financial instruction data, and generating knowledge-graph-guided question-answer pairs from financial educational material. After semantic deduplication, three lightweight sequence classifiers select finance-relevant examples, reject under-specified questions, and identify tasks suitable for reinforcement learning with compact rule-based verifiers. For model adaptation, we study supervised fine-tuning and reinforcement learning, while self-distilled fine-tuning and post-training model merging are used to prevent the loss of financial capabilities already present in the starting model. We evaluate the adapted language models using FINESSE-Bench, reporting aggregate performance and changes relative to their starting checkpoints. Across the selected comparisons, ordinary SFT reduces FINESSE-Bench accuracy by 3.2-4.0 percentage points, whereas self-distilled SFT improves over the corresponding starting models by 1.0-2.8 points. Equal-weight merging recovers 3.0 points over its SFT parent and finishes 0.9 points above the original model; GRPO on hard tasks adds 0.4 points after self-distilled SFT or 3.0 points when applied directly to verifiable tasks. These results show that retention-aware adaptation can improve financial reasoning without the regressions observed after ordinary SFT.