Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models?

📄 arXiv: 2602.18895v1 📥 PDF

作者: Wenxi Geng, Dingyuan Liu, Liya Li, Yiqing Wang

分类: q-fin.RM, cs.LG

发布日期: 2026-02-21

备注: 21 pages, 1 figure

💡 一句话要点

利用大语言模型提升信贷风险模型事后可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可解释性 信贷风险模型 事后解释 自然语言生成

📋 核心要点

  1. 现有信贷风险模型的可解释性工具（如SHAP）输出难以被非技术人员理解，阻碍了有效沟通。
  2. 论文探索利用大语言模型（LLM）作为事后可解释性工具，扮演翻译者和自主解释者两种角色。
  3. 实验表明LLM作为翻译者表现良好，但作为自主解释器与模型归因一致性较低，对非线性模型效果有限。

📝 摘要（中文）

事后可解释性是信贷风险模型治理的核心，但诸如基于系数的归因和SHAP等常用工具通常产生难以向非技术利益相关者传达的数值输出。本文研究了大型语言模型（LLM）是否可以通过上下文学习作为信贷风险预测的事后可解释性工具，重点关注两个角色：翻译者和自主解释者。使用来自LendingClub的个人贷款数据集，我们评估了三个商业LLM，包括GPT-4-turbo、Claude Sonnet 4和Gemini-2.0-Flash。结果为翻译者角色提供了强有力的证据。相比之下，自主解释与基于模型的归因显示出较低的一致性。少量样本提示改进了逻辑回归的特征重叠，但并未持续有益于XGBoost，这表明LLM仅凭提示线索恢复非线性、交互驱动推理的能力有限。我们的发现将LLM定位为基于可审计模型归因的有效叙述界面，而不是信贷风险模型治理中事后解释器的替代品。从业者应利用LLM来弥合复杂模型输出与监管或业务利益相关者之间的沟通差距，同时保持信贷风险治理框架所需的严谨性和可追溯性。

🔬 方法详解

问题定义：信贷风险模型的可解释性对于模型治理至关重要，但现有方法，如基于系数的归因和SHAP值，通常输出数值结果，难以向非技术人员解释。这导致了模型透明度不足，影响了监管合规性和业务决策。

核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言生成能力，将复杂的模型输出转化为易于理解的文本解释。通过将LLM作为“翻译者”和“自主解释者”，探索其在信贷风险模型可解释性方面的潜力。

技术框架：论文采用的整体框架包括以下步骤：1）使用LendingClub的个人贷款数据集训练信贷风险模型（包括逻辑回归和XGBoost）；2）使用传统方法（如SHAP）计算特征归因；3）设计提示（prompts），引导LLM执行翻译或自主解释任务；4）使用LLM（GPT-4-turbo、Claude Sonnet 4和Gemini-2.0-Flash）生成解释；5）评估LLM生成的解释与模型归因的一致性。

关键创新：论文的关键创新在于探索了LLM在信贷风险模型事后可解释性中的应用，并区分了LLM的两种角色：翻译者（将现有归因结果转化为自然语言）和自主解释者（直接从模型输入生成解释）。这种区分有助于更清晰地理解LLM在可解释性方面的优势和局限性。

关键设计：论文的关键设计包括：1）使用少量样本提示（few-shot prompting）来提高LLM的解释能力；2）设计不同的提示模板，以引导LLM执行翻译或自主解释任务；3）使用特征重叠（feature overlap）等指标来评估LLM生成的解释与模型归因的一致性；4）对比逻辑回归和XGBoost两种模型的实验结果，以评估LLM在处理线性和非线性关系时的表现。

📊 实验亮点

实验结果表明，LLM在作为翻译者方面表现出色，能够将模型归因结果转化为易于理解的自然语言解释。然而，作为自主解释者，LLM与模型归因的一致性较低，尤其是在处理非线性模型（如XGBoost）时。少量样本提示可以提高逻辑回归的特征重叠，但对XGBoost效果不明显。这表明LLM在仅凭提示线索恢复非线性、交互驱动推理方面存在局限性。

🎯 应用场景

该研究成果可应用于金融风控领域，帮助信贷机构更好地向监管机构和客户解释信贷决策，提高模型透明度和可信度。通过将复杂的模型输出转化为易于理解的自然语言解释，可以有效弥合技术专家和非技术人员之间的沟通鸿沟，促进更公平、更负责任的信贷服务。未来，该方法可以扩展到其他需要可解释性的领域，如医疗诊断和法律判决。

📄 摘要（原文）

Post-hoc explainability is central to credit risk model governance, yet widely used tools such as coefficient-based attributions and SHapley Additive exPlanations (SHAP) often produce numerical outputs that are difficult to communicate to non-technical stakeholders. This paper investigates whether large language models (LLMs) can serve as post-hoc explainability tools for credit risk predictions through in-context learning, focusing on two roles: translators and autonomous explainers. Using a personal lending dataset from LendingClub, we evaluate three commercial LLMs, including GPT-4-turbo, Claude Sonnet 4, and Gemini-2.0-Flash. Results provide strong evidence for the translator role. In contrast, autonomous explanations show low alignment with model-based attributions. Few-shot prompting improves feature overlap for logistic regression but does not consistently benefit XGBoost, suggesting that LLMs have limited capacity to recover non-linear, interaction-driven reasoning from prompt cues alone. Our findings position LLMs as effective narrative interfaces grounded in auditable model attributions, rather than as substitutes for post-hoc explainers in credit risk model governance. Practitioners should leverage LLMs to bridge the communication gap between complex model outputs and regulatory or business stakeholders, while preserving the rigor and traceability required by credit risk governance frameworks.