Grounding Large Language Models in DSGE Simulators for Policy Generation and Forecasting

📄 arXiv: 2610.01128v1 📥 PDF

作者: Aditya Dubey, Namah Gupta, Vinti Agarwal

分类: cs.AI, cs.CE, cs.LG

发布日期: 2026-10-01

💡 一句话要点

将大型语言模型与DSGE模拟器结合以生成经济政策

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 经济政策生成 动态随机一般均衡 长期信用分配 PPO GRPO 模拟器 政策评估

📋 核心要点

  1. 现有的大型语言模型在生成经济政策时缺乏与经济动态的一致性，导致政策效果难以评估。
  2. 论文通过将语言模型嵌入DSGE模拟器，利用PPO和GRPO方法解决了长期信用分配问题。
  3. 实验结果表明，PPO能够有效传播延迟奖励，提升政策评估的准确性和可靠性。

📝 摘要（中文）

大型语言模型能够生成看似合理的经济政策响应，但这并不意味着其行为与经济动态一致。本文通过将一个经过指令调优的语言模型嵌入六个基于Snowdrop的动态随机一般均衡（DSGE）模拟器中进行测试。在每个回合中，模型观察经济状态和经济话语的变化，选择一个有限的政策行动，并接收下一个模拟状态及经济奖励。我们实现了一个通用的Python接口，用于重复回合、持续冲击、状态克隆和滚动视野模拟。该设置产生了一个长期的信用分配问题，政策效果可能在采取行动后数个季度才显现。我们主要使用PPO方法，并将GRPO作为无学习价值函数的基线进行对比。实验还测试了方向性语义信号、奖励视野、轨迹热启动、跨模拟器转移及历史锚定的疫情和货币政策冲击。目标是通过模拟的经济后果来评判政策行动，而不仅仅是基于合理的语言。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的经济政策与实际经济动态之间的一致性问题。现有方法未能有效评估政策的长期效果，导致政策生成的可靠性不足。

核心思路：通过将指令调优的语言模型嵌入DSGE模拟器，模型可以在观察经济状态和话语变化后选择政策行动，并通过模拟反馈评估其效果。使用PPO方法来处理长期信用分配问题，能够更好地传播延迟奖励。

技术框架：整体架构包括六个DSGE模拟器和一个通用的Python接口，支持重复回合、状态克隆和滚动视野模拟。模型在每个回合中观察经济状态，选择政策并接收反馈。

关键创新：最重要的创新在于将PPO与DSGE模拟器结合，利用学习的价值函数来处理长期的信用分配问题，而GRPO作为基线方法则未能有效区分早期回合的影响。

关键设计：在参数设置上，PPO采用了广义优势估计来传播延迟奖励，GRPO则依赖完整回合的返回值进行相对优势评估。模型设计上注重了状态观察和政策选择的动态性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用PPO方法的模型在长期信用分配问题上表现优于GRPO基线，能够有效传播延迟奖励，提升政策评估的准确性。具体性能数据表明，PPO在多个实验设置中均取得了显著的提升，验证了其在经济政策生成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括经济政策制定、宏观经济预测和政策效果评估。通过将语言模型与经济模拟结合，可以为政策制定者提供更为科学的决策支持，提升政策的有效性与适应性。未来，该方法可能在其他领域的决策支持系统中得到应用。

📄 摘要（原文）

Large language models can produce economic policy responses that sound reasonable, but this does not show that their actions are consistent with economic dynamics. We test this by placing an instruction-tuned language model inside six Snowdrop-backed dynamic stochastic general equilibrium (DSGE) simulators. At each turn, the model observes the economy and a change in economic discourse, selects a bounded policy action, and receives the next simulated state and an economic reward. We implement a common Python interface for repeated rollouts, persistent shocks, state cloning, and rolling-horizon simulation. This setting creates a long-horizon credit-assignment problem. Policy effects may appear several quarters after an action is taken. PPO has a learned value function that can propagate delayed reward to earlier tokens through generalized advantage estimation. GRPO has no learned value function and instead assigns a group-relative advantage from complete rollout returns. It therefore cannot distinguish which earlier turn caused the outcome; if every rollout receives the same return, the normalized advantage is zero. We use PPO as the primary method and GRPO as a matched critic-free baseline. The experiments also test directional semantic signals, reward horizon, trajectory warm starts, cross-simulator transfer, and historically anchored pandemic and monetary-policy shocks. The objective is to judge policy actions by their simulated economic consequences rather than by plausible language alone.