Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents
作者: Genshin Kakimoto, Atsushi Yanagisawa
分类: cs.AI, cs.CL, cs.CV
发布日期: 2026-10-20
备注: 17 pages, 10 figures, 9 tables. Presented at the ICML 2026 Workshop "Continual Adaptation at Scale: Towards Sustainable AI". Code: https://github.com/AtsushiYanaigsawa768/Compass
💡 一句话要点
提出分阶段持续适应方法以优化日本金融文档的多模态基础模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态基础模型 金融文档处理 推理蒸馏 领域调优 视觉-语言对齐 知识覆盖 模型适应性
📋 核心要点
- 现有多模态基础模型在处理日本金融文档时，阶段间能力的相互作用尚未被充分理解，导致知识的覆盖与保留问题。
- 论文提出了一种分阶段的后训练方法，通过视觉-语言对齐、推理蒸馏和领域调优来提升模型性能，强调阶段间的非加性交互。
- 实验结果表明，最佳的模型检查点依赖于具体任务，且跳过某一训练阶段虽然能保留领域知识，但会损失数值推理能力。
📝 摘要（中文）
本研究提出了一种分阶段的后训练方法，旨在优化多模态基础模型在日本金融文档上的表现。该方法包括视觉-语言对齐、推理蒸馏和领域调优三个阶段，但各阶段之间的能力权衡尚未充分表征。通过对一个84亿参数模型的跟踪研究，发现各阶段的相互作用是非加性的：仅进行数学蒸馏会覆盖早期获得的金融知识，而程序性数学技能仍然保留。领域阶段的修复效果超过了其安装效果，跳过某一阶段的消融实验在领域知识上表现最佳，但牺牲了数值推理的提升，因此各阶段的贡献不可分解，最佳检查点依赖于具体任务，这对检查点的保留和调度具有重要意义。
🔬 方法详解
问题定义：本研究旨在解决多模态基础模型在日本金融文档处理中的知识覆盖与保留问题。现有方法未能充分表征各训练阶段之间的相互作用，导致模型性能不稳定。
核心思路：提出分阶段的后训练策略，结合视觉-语言对齐、推理蒸馏和领域调优，旨在优化模型在特定领域的适应性和推理能力。通过分析各阶段的相互作用，揭示其非加性特征。
技术框架：整体流程包括三个主要阶段：第一阶段为视觉-语言对齐，第二阶段为数学推理的蒸馏，第三阶段为领域特定的调优。每个阶段都针对特定的能力进行优化，形成一个闭环反馈机制。
关键创新：最重要的技术创新在于识别和利用各阶段之间的非加性交互效应，提出跳过某一阶段的消融实验，揭示了领域知识与数值推理能力之间的权衡关系。
关键设计：在模型训练中，采用了84亿参数的架构，设置了特定的损失函数以平衡不同阶段的学习目标，确保在领域调优时能够有效修复而非简单安装新知识。
🖼️ 关键图片
📊 实验亮点
实验结果显示，跳过某一训练阶段的消融实验在领域知识上表现最佳，但牺牲了数值推理能力。整体模型在五个文本输入基准上的评估结果表明，最佳检查点依赖于具体任务，强调了阶段间相互作用的重要性。
🎯 应用场景
该研究的潜在应用领域包括金融文档自动处理、智能财务分析和多模态信息检索等。通过优化多模态基础模型在特定领域的适应性，能够提升金融行业的信息处理效率和决策支持能力，未来可能对金融科技的发展产生深远影响。
📄 摘要（原文）
Staged post-training of multimodal foundation models chains vision-language alignment, reasoning distillation, and domain tuning, yet how each phase trades capabilities against the others remains under-characterised. Tracking an 8.4B-parameter model from an un-fine-tuned baseline through three training phases on Japanese financial documents (evaluated on five text-input benchmarks), we find the phases interact non-additively: math-only distillation overwrites the financial knowledge acquired earlier even as procedural math skill survives, and the domain phase repairs more than it installs. A skip-phase ablation is best for domain knowledge but forfeits numerical-reasoning gains, so per-phase contributions are not decomposable and the best checkpoint is task-dependent, with implications for checkpoint retention and scheduling rather than added stages.