HouseholdBench: Evaluating Large Language Models as Predictors of Household Economic Behavior
作者: Jin Huang, Diego Ferreras Garrucho, Yutong Xie, Walter M. Yuan, Qiaozhu Mei, Chen Lian, Jonathon Hazell
分类: cs.CL
发布日期: 2026-10-06
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HouseholdBench以评估大型语言模型在家庭经济行为预测中的应用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 家庭经济行为 预测任务 经济政策 数据集发布
📋 核心要点
- 现有的经济学模型在家庭决策预测方面存在不足，尤其是对家庭如何适应经济变化的研究较少。
- 论文提出HouseholdBench评估框架，结合多项家庭调查和预测任务，全面测试LLMs在家庭经济行为预测中的能力。
- 实验结果表明，大多数LLMs在政策响应任务中表现优于无变化基线，最佳模型在数值预测上降低了12.2%的误差。
📝 摘要（中文）
大型语言模型（LLMs）有潜力实现经济学中的一个关键目标：量化家庭决策模型。然而，现有评估覆盖的调查和结果有限，且未研究家庭如何适应经济条件的变化。我们引入了新的评估框架HouseholdBench，结合了6个美国家庭调查和32个预测任务，涵盖消费、收入、劳动、预期和住房等方面。通过使用过去的行为、人口统计和宏观经济条件，任务测试LLMs是否能够预测家庭行为，包括家庭如何应对政策变化。我们评估了13个专有和开放权重的LLMs，结果显示大多数LLMs在政策响应任务中优于无变化基线，最佳模型在数值结果上降低了12.2%的误差。我们还识别了使得一个40亿参数的开放权重模型能够匹配专有模型性能的方法：微调和每个观察值聚合16个预测。
🔬 方法详解
问题定义：本研究旨在解决现有经济学模型在家庭决策预测中的不足，特别是缺乏对家庭如何适应经济变化的评估。现有方法未能全面覆盖家庭经济行为的多样性和复杂性。
核心思路：论文通过引入HouseholdBench评估框架，结合多个家庭调查和预测任务，旨在全面评估LLMs在家庭经济行为预测中的有效性。通过使用历史行为、人口统计数据和宏观经济条件，测试LLMs的预测能力。
技术框架：HouseholdBench框架包含六个家庭调查和三十二个预测任务，涵盖数值、分类和概率结果。评估过程包括对13个LLMs的性能比较，基线为无变化模型和梯度提升树模型。
关键创新：最重要的创新在于通过微调和聚合多个预测来提升开放权重模型的性能，使其能够接近专有模型的表现。这一方法在政策响应任务中也显示出良好的泛化能力。
关键设计：在实验中，采用了40亿参数的开放权重模型，通过微调和每个观察值聚合16个预测来优化性能。损失函数和网络结构的具体设置未在摘要中详细说明，需参考原文获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
实验结果显示，大多数LLMs在政策响应任务中超越了无变化基线，最佳模型在数值预测上降低了12.2%的误差。梯度提升树模型在大多数任务中排名第一，而领先的专有LLMs接近其性能，开放权重模型则相对滞后。通过微调和聚合预测的方法显著提升了开放权重模型的表现。
🎯 应用场景
该研究的潜在应用领域包括经济政策分析、家庭财务规划和市场行为预测。通过更准确的家庭经济行为预测，政策制定者和经济学家可以更好地理解家庭在不同经济条件下的反应，从而制定更有效的政策。此外，研究成果也可以为金融科技公司提供数据支持，帮助其优化产品设计和市场策略。
📄 摘要（原文）
Large language models (LLMs) have the potential to meet a key goal in economics: a quantitative model of household decision making, across a variety of settings. Yet existing evaluations cover few surveys and outcomes, and do not study how households adjust to changing economic conditions. We introduce a new evaluation, HouseholdBench, which unites 6 U.S. household surveys and 32 prediction tasks spanning numeric, categorical and probabilistic outcomes, related to consumption, income, labor, expectations, and housing. Using past behavior, demographics and macroeconomic conditions, the tasks test whether LLMs predict behavior, including how households adjust to changes in various policies. We evaluate 13 proprietary and open-weight LLMs against a no-change baseline and a gradient-boosted tree model. Most LLMs outperform the no-change baseline, including for policy response tasks -- with the best model lowering error for numeric outcomes by 12.2%. Across most tasks, gradient-boosted trees rank first; leading proprietary LLMs approach their performance, but open-weight models lag. LLMs exhibit systematic over- and underprediction across different tasks. We identify methods that enable a 4 billion parameter open-weight model to match proprietary models' performance: fine-tuning and aggregating 16 predictions per observation. Improvements generalize to policy-response tasks, which are excluded from fine-tuning. We release our datasets, code, and leaderboard on our website: https://jn-huang.github.io/householdbench