ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

📄 arXiv: 2603.16112v1 📥 PDF

作者: Tik Yu Yim, Wenting Tan, Sum Yee Chan, Tak-Wah Lam, Siu Ming Yiu

分类: cs.CL, cs.AI, cs.CE

发布日期: 2026-03-17

💡 一句话要点

ASDA：金融推理的自动化技能蒸馏与适配框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融推理 技能蒸馏 领域适配 自动化学习 大型语言模型

📋 核心要点

  1. 现有免训练方法在金融推理等复杂任务上提升有限，无法充分利用领域知识。
  2. ASDA框架通过自动生成结构化技能工件，迭代纠错学习，提升模型推理能力，无需修改模型权重。
  3. 实验表明，ASDA在金融推理基准测试中显著优于现有免训练方法，尤其在算术推理方面。

📝 摘要（中文）

将大型语言模型(LLMs)适配到专业的金融推理通常需要昂贵的微调，这会产生模型锁定的专业知识。虽然已经出现了免训练的替代方案，但我们的实验表明，领先的方法(GEPA和ACE)在FAMMA金融推理基准上仅取得了边际收益，暴露了非结构化文本优化在复杂、多步骤领域推理方面的局限性。我们引入了自动化技能蒸馏与适配(ASDA)框架，该框架通过迭代的纠错学习自动生成结构化的技能工件，而无需修改模型权重。教师模型分析学生模型在金融推理任务中的失败，按子领域和错误类型对错误进行聚类，并合成包含推理过程、代码模板和工作示例的技能文件，这些文件在推理过程中动态注入。在FAMMA上的评估表明，ASDA在算术推理方面实现了高达+17.33%的改进，在非算术推理方面实现了+5.95%的改进，大大优于所有免训练的基线。由此产生的技能工件是人类可读的、版本可控的，并且与Agent Skills开放标准兼容，为任何拥有标记领域数据集的组织提供了一条实用且可审计的领域适配路径，而无需权重访问或重新训练。

🔬 方法详解

问题定义：现有方法，如GEPA和ACE，在金融推理任务上表现不佳，无法有效利用领域知识。这些方法依赖于非结构化文本优化，难以处理复杂、多步骤的推理过程。微调虽然有效，但成本高昂，且模型专业知识被锁定，难以迁移和复用。

核心思路：ASDA的核心思路是通过技能蒸馏和适配，将领域知识以结构化的形式注入到模型中，从而提升其推理能力。该方法无需修改模型权重，而是通过动态注入技能工件来实现领域适配。这种方法的优势在于灵活性、可审计性和可复用性。

技术框架：ASDA框架包含以下几个主要模块：1) 学生模型：执行金融推理任务。2) 教师模型：分析学生模型的错误，并进行聚类。3) 技能工件生成器：根据错误聚类结果，生成包含推理过程、代码模板和工作示例的技能文件。4) 技能注入模块：在推理过程中，动态地将相关的技能工件注入到学生模型中。整个过程是迭代的，通过不断地纠正错误，逐步提升模型的推理能力。

关键创新：ASDA的关键创新在于自动化地生成结构化的技能工件，并将其动态注入到模型中。与传统的微调方法相比，ASDA无需修改模型权重，具有更高的灵活性和可复用性。与现有的免训练方法相比，ASDA通过结构化的知识表示，能够更好地利用领域知识，从而提升推理性能。

关键设计：ASDA的关键设计包括：1) 错误聚类算法：用于将学生模型的错误按照子领域和错误类型进行聚类。2) 技能工件生成策略：用于根据错误聚类结果，生成包含推理过程、代码模板和工作示例的技能文件。3) 技能注入机制：用于在推理过程中，动态地将相关的技能工件注入到学生模型中。具体的参数设置和算法选择取决于具体的应用场景和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASDA在FAMMA金融推理基准测试中取得了显著的性能提升。在算术推理方面，ASDA实现了高达+17.33%的改进，在非算术推理方面实现了+5.95%的改进。这些结果表明，ASDA能够有效地利用领域知识，提升模型的推理能力，并且优于现有的免训练基线方法。

🎯 应用场景

ASDA可应用于金融领域的各种推理任务，例如财务报表分析、投资决策支持、风险评估等。该框架能够帮助企业快速构建专业的金融推理模型，提高决策效率和准确性。由于其无需修改模型权重，也便于模型的部署和维护，并降低了使用门槛。未来，ASDA有望扩展到其他需要专业领域知识的推理任务中。

📄 摘要（原文）

Adapting large language models (LLMs) to specialized financial reasoning typically requires expensive fine-tuning that produces model-locked expertise. Training-free alternatives have emerged, yet our experiments show that leading methods (GEPA and ACE) achieve only marginal gains on the FAMMA financial reasoning benchmark, exposing the limits of unstructured text optimization for complex, multi-step domain reasoning. We introduce Automated Skill Distillation and Adaptation (ASDA), a framework that automatically generates structured skill artifacts through iterative error-corrective learning without modifying model weights. A teacher model analyzes a student model's failures on financial reasoning tasks, clusters errors by subfield and error type, and synthesizes skill files containing reasoning procedures, code templates, and worked examples, which are dynamically injected during inference. Evaluated on FAMMA, ASDA achieves up to +17.33% improvement on arithmetic reasoning and +5.95% on non-arithmetic reasoning, substantially outperforming all training-free baselines. The resulting skill artifacts are human-readable, version-controlled, and compatible with the Agent Skills open standard, offering any organization with a labeled domain dataset a practical and auditable path to domain adaptation without weight access or retraining.