Can Large Language Models Anticipate Behavioral Responses to Social Policies? A Case of Pension Enrollment Prediction among China's Flexible Workers

📄 arXiv: 2609.05189v1 📥 PDF

作者: Yumiao Li, Peixin Liu, Donglin Di, Chen Li, Runhuan Feng

分类: cs.CL

发布日期: 2026-09-04

备注: 16 pages, 9 figures; includes supplementary material. Code and reproduction materials: https://github.com/liym22/FlexPension-LLM

💡 一句话要点

提出FlexPension-LLM以解决中国灵活工人养老金登记预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 养老金预测 政策评估 灵活工人 蒸馏训练 政策提示 机器学习

📋 核心要点

  1. 现有的计量经济学方法在推断社会政策变更的假设场景时存在不可靠性，且现场试点项目成本高昂。
  2. 本文提出FlexPension-LLM，利用大型语言模型进行养老金登记预测，并通过DKI-RDistill注入政策相关提示以增强模型性能。
  3. FlexPension-LLM在CHFS 2019数据集上达到了0.9316的复合F1值，超越了多个基线模型，且在外部调查中表现稳定。

📝 摘要（中文）

评估社会政策变更的影响是政策制定者面临的广泛挑战。传统的计量经济学方法在推断假设场景时可能不可靠，而现场试点项目成本高昂。本文提出将大型语言模型（LLMs）作为政策评估工具，开发了FlexPension-LLM，这是首个针对中国灵活工人养老金登记预测任务的领域专用大型语言模型，并引入DKI-RDistill，通过注入政策相关提示来增强模型性能。实验结果显示，FlexPension-LLM在CHFS 2019盲分割数据集上达到了0.9316的复合F1值，超越了其教师模型Claude Sonnet 4.5及17个基线模型，并在四个外部调查中表现出最小的性能波动。

🔬 方法详解

问题定义：本文旨在解决中国灵活工人养老金登记预测的挑战，现有方法在推断政策影响时存在不可靠性和高成本的问题。

核心思路：提出FlexPension-LLM作为政策评估工具，通过注入政策相关提示来增强模型的预测能力，利用LoRA/SFT技术进行模型蒸馏。

技术框架：整体架构包括数据预处理、政策提示注入、模型训练和评估四个主要阶段，使用开放权重的MoE学生模型进行学习。

关键创新：最重要的创新在于DKI-RDistill方法，通过注入政策相关提示和进行错误过滤的监督，显著提升了模型的预测性能。

关键设计：模型采用LoRA/SFT进行蒸馏，损失函数设计为结合政策提示和真实标签的生成，确保模型学习到有效的决策轨迹。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

FlexPension-LLM在CHFS 2019数据集上达到了0.9316的复合F1值，超越了Claude Sonnet 4.5教师模型和17个基线模型，并在四个外部调查中平均达到0.7549的复合F1，展现出最小的性能波动。

🎯 应用场景

该研究的潜在应用领域包括社会政策评估、养老金管理和灵活就业市场分析。通过提供更可靠的预测工具，政策制定者可以更有效地制定和调整社会政策，从而提高政策的有效性和可持续性。

📄 摘要（原文）

Assessing the impacts of social policy changes is a widely acknowledged challenge for policymakers. Econometric methods can be unreliable when extrapolating to hypothetical scenarios, while field pilot programs are highly costly. In this paper, we propose using large language models (LLMs) as policy-assessment tools adapted from general-purpose models. We present FlexPension-LLM, the first domain-specialized large language model for a hierarchical pension-enrollment prediction task among flexible workers in China, and introduce DKI-RDistill, which injects policy-grounded cues into the prompt, including Probit-derived marginal effects and hukou-province pension rules. The method then uses LoRA/SFT to distill rationale-augmented supervision into an open-weight MoE student, with teacher errors corrected by regenerating those cases under ground-truth labels. On a CHFS 2019 blind split, FlexPension-LLM achieves 0.9316 Composite F1, surpassing its Claude Sonnet 4.5 teacher and 15 of 17 baselines, and is statistically indistinguishable from Claude Opus 4.6. Across four external surveys, it averages 0.7549 Composite F1 and shows the narrowest performance range among the strongest systems. Component analysis shows that gains come mainly from policy-grounded cue injection and error-filtered supervision, while rationales provide decision traces that can be checked against policy rules.