Same Probabilities, Different Advice: Gain-Loss Framing Effects in High-Stakes LLM Decision Support

📄 arXiv: 2610.29294v1 📥 PDF

作者: Yuyao Zhang, Yakun Cui, Han Zhu, Jinsong Lu, Yike Guo, Sirui Han

分类: cs.AI, cs.CL

发布日期: 2026-10-21

备注: 14 pages, 2 figures

💡 一句话要点

提出FrameBench-HPS以解决高风险决策中的框架效应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 框架效应 高风险决策 概率标准化 决策支持

📋 核心要点

  1. 核心问题：现有研究未能明确高风险决策中相同概率在不同框架下的建议变化，导致决策支持的不一致性。
  2. 方法要点：提出FrameBench-HPS基准，通过控制实验探讨收益与损失框架对LLM建议的影响，识别概率表示的重要性。
  3. 实验或效果：发现32.4%的建议类别因框架变化而改变，且概率标准化显著提高了决策支持的一致性。

📝 摘要（中文）

大型语言模型（LLMs）在支持重要决策中的可靠性尚不明确，尤其是在相同的不确定性表达下。现有研究已记录了提示敏感性、认知偏差和信心失调，但尚不清楚在高风险建议中，使用互补的收益和损失框架是否会改变建议。本文提出了FrameBench-HPS，这是一个由240个高风险场景衍生的2880个提示的受控基准。研究发现，收益-损失框架在32.4%的完整组中改变了推荐类别，且大多数变化涉及不确定性而非直接反转。人类评估确认了感知风险和指导性的相应变化。鲁棒性实验表明，框架效应在对话性释义下仍然存在，并超出了普通重复生成的变异性。概率标准化显著降低了框架敏感性，识别出概率表示作为提高高风险决策支持一致性的实际目标。

🔬 方法详解

问题定义：本文旨在解决高风险决策中大型语言模型（LLMs）在相同概率下的框架效应问题。现有方法未能充分考虑不同框架对建议的影响，导致决策支持的不一致性和潜在风险。

核心思路：通过引入FrameBench-HPS基准，论文系统性地评估了收益与损失框架对LLMs建议的影响，强调概率表示在提高一致性方面的重要性。

技术框架：研究基于240个高风险场景生成2880个提示，涵盖医疗、金融、教育和法律等领域。通过对七个LLMs进行实验，分析框架变化对建议类别的影响。

关键创新：最重要的技术创新在于识别并量化了框架效应对LLMs建议的影响，特别是在高风险决策中，提出概率标准化作为提升一致性的有效手段。

关键设计：实验设计中，采用了多种提示形式和对话性释义，确保了结果的鲁棒性。同时，概率标准化的实施显著降低了框架敏感性，成为提升决策支持一致性的关键设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，收益-损失框架在32.4%的完整组中改变了建议类别，且大多数变化涉及不确定性而非直接反转。通过概率标准化，显著降低了框架敏感性，提升了高风险决策支持的一致性，具有重要的应用前景。

🎯 应用场景

该研究的潜在应用领域包括医疗决策支持、金融投资建议、教育职业规划和法律咨询等高风险场景。通过提高大型语言模型在不同框架下的建议一致性，能够有效降低决策风险，提升用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to support consequential decisions, yet their reliability under equivalent representations of uncertainty remains unclear. Existing work has documented prompt sensitivity, cognitive biases, and confidence miscalibration, but it is still unknown whether high-stakes advice changes when the same probability is expressed through complementary gain and loss frames. We introduce FrameBench-HPS, a controlled benchmark of 2,880 prompts derived from 240 high-stakes scenarios across healthcare, finance, education/career, and legal/consumer-rights domains. Across seven LLMs, gain-loss framing changes the recommendation category in 32.4% of complete groups, with most changes involving uncertainty rather than direct reversals. Human evaluation confirms corresponding shifts in perceived risk and directiveness. Robustness experiments show that framing effects persist under conversational paraphrases and exceed ordinary repeated-generation variability. Probability canonicalization substantially reduces framing sensitivity, identifying probability representation as a practical target for improving consistency in high-stakes LLM decision support.