Same Text, Different Numbers: The Divergence of LLM-Based Measures

📄 arXiv: 2609.31013v1 📥 PDF

作者: Hamid Boustanifar, Sasan Mansouri

分类: cs.AI, cs.CL, q-fin.GN, q-fin.RM

发布日期: 2026-09-25

备注: 86 pages, including an online appendix

💡 一句话要点

探讨LLM模型选择对文本测量结果的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本测量 模型选择 金融分析 数据验证

📋 核心要点

  1. 现有方法在使用LLM进行文本测量时，模型选择导致的结果差异显著，影响后续分析的准确性。
  2. 论文通过比较七种不同LLM对同一文本的评分，揭示了模型选择对文本测量结果的影响。
  3. 实验结果表明，跨模型的评分相关性较低，且模型选择对推断结果有显著影响，提示需谨慎使用LLM生成的变量。

📝 摘要（中文）

随着研究者越来越多地使用生成性大型语言模型（LLMs）将企业文本转化为经验变量，本文考察了基于LLM的文本测量在模型选择上的不变性。研究使用了包括情感、管理清晰度、不确定性等在内的十三种测量方法，评估了七种来自不同提供商的LLM对标准普尔500公司财报电话会议记录的评分。结果显示，跨模型的排名相关性平均仅为0.52，且不同提供商之间的转录差异仅占总评分变异的34%。模型选择显著影响后续推断，系数的大小、符号和统计显著性在不同模型间变化显著。因此，LLM生成的变量应视为依赖于模型的测量，并需在不同提供商间进行验证。

🔬 方法详解

问题定义：本文旨在解决基于LLM的文本测量在模型选择上的不一致性问题。现有方法未能充分考虑不同模型对结果的影响，导致分析结果的不可靠性。

核心思路：通过对比七种不同提供商的LLM在相同文本上的评分，研究模型选择对文本测量结果的影响，强调需要在不同模型间进行验证。

技术框架：研究采用了跨模型比较的方法，首先选择标准普尔500公司的财报电话会议记录，然后使用不同LLM对其进行评分，最后分析评分的相关性和变异性。

关键创新：最重要的创新在于揭示了LLM生成的文本测量结果在不同模型间的显著差异，强调了模型选择的重要性，这与现有方法通常假设模型结果一致的观点形成鲜明对比。

关键设计：研究中使用了十三种不同的测量方法，包括情感分析和管理清晰度等，分析了模型评分的相关性和变异性，确保了结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，跨模型的评分相关性平均仅为0.52，且不同提供商之间的转录差异仅占总评分变异的34%。模型选择显著影响后续推断，系数的大小、符号和统计显著性在不同模型间变化显著，提示需谨慎使用LLM生成的变量。

🎯 应用场景

该研究的潜在应用领域包括金融分析、企业管理和市场研究等。通过理解不同LLM对文本测量结果的影响，研究者和从业者可以更有效地选择合适的模型，从而提高分析的准确性和可靠性，推动相关领域的研究和实践发展。

📄 摘要（原文）

Researchers increasingly use generative large language models (LLMs) to convert corporate text into empirical variables. We examine the extent to which LLM-based textual measures are invariant to model choice using thirteen measures, including sentiment, management clarity, uncertainty, answer specificity, and climate and political risk. Seven LLMs from different providers score earnings call transcripts of S&P 500 companies on these constructs. Cross-model rank correlations average only 0.52, and transcript-level differences common across providers account for only 34% of total score variation. Cross-model disagreement does not predict subsequent analyst or market disagreement, consistent with a substantial model-specific component rather than common ambiguity in the underlying disclosure. Model choice significantly affects downstream inference, with coefficient magnitudes, signs, and statistical significance varying substantially across models. Averaging across providers makes transcript rankings more stable for most constructs, but score levels remain sensitive to the models included in the ensemble. LLM-generated variables should therefore be treated as model-contingent measurements and validated across providers.