Too Open for Opinion? Embracing Open-Endedness in Large Language Models for Social Simulation
作者: Bolei Ma, Yong Cao, Indira Sen, Anna-Carolina Haensch, Frauke Kreuter, Barbara Plank, Daniel Hershcovich
分类: cs.CL
发布日期: 2025-10-14
💡 一句话要点
探索LLM在社会模拟中的开放性：提升测量、减少偏差、增强方法效用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会模拟 开放性 公众舆论 自然语言处理
📋 核心要点
- 现有社会模拟研究过度依赖封闭式问答，限制了LLM的生成能力，无法充分捕捉真实社会现象的复杂性。
- 论文倡导在LLM社会模拟中拥抱开放性，利用自由文本捕捉更丰富的观点、推理过程和个体表达。
- 通过开放性设计，可以改进测量方法，探索未预期的观点，减少研究者偏差，提升社会模拟的真实性和效用。
📝 摘要（中文）
大型语言模型（LLM）越来越多地被用于模拟公众舆论和其他社会现象。目前大多数研究为了便于评分和比较，将这些模拟限制在多项选择或简答题形式。然而，这种封闭式设计忽略了LLM固有的生成性。本文提出，开放性，即使用自由文本来捕捉LLM中的主题、观点和推理过程，对于真实的社会模拟至关重要。借鉴数十年的调查方法研究和自然语言处理（NLP）的最新进展，论证了这种开放性在LLM社会模拟中的价值，展示了它如何改进测量和设计，支持对未预期观点的探索，并减少研究者施加的指导性偏差。它还捕捉了表达性和个性，有助于预测试，并最终增强方法效用。呼吁采用新的实践和评估框架，利用而不是限制LLM的开放式生成多样性，从而在NLP和社会科学之间建立协同作用。
🔬 方法详解
问题定义：现有社会模拟研究通常采用多项选择或简答题等封闭式方法，限制了LLM的表达能力，无法捕捉到公众舆论的细微差别和复杂性。这种方法忽略了LLM作为生成模型的本质，并且可能引入研究者的主观偏差，影响模拟结果的真实性。现有方法难以探索未预料到的观点和推理过程，阻碍了对社会现象的深入理解。
核心思路：论文的核心思路是拥抱LLM的开放性，允许其生成自由文本，从而更全面地捕捉社会现象。通过分析LLM生成的自由文本，可以提取出更丰富的观点、推理过程和个体表达，从而提高社会模拟的真实性和可靠性。这种开放式方法能够减少研究者主观偏差，并允许探索未预料到的观点，从而更深入地理解社会现象。
技术框架：论文主要是一个立场性论文，并没有提出一个具体的模型框架。但是，它提倡一种新的研究范式，即利用LLM生成自由文本，然后使用NLP技术（例如，主题建模、情感分析、文本摘要等）对生成的文本进行分析，从而提取出有用的信息。这种方法可以应用于各种社会模拟场景，例如，模拟公众舆论、预测选举结果、评估政策影响等。
关键创新：论文的关键创新在于强调了LLM在社会模拟中的开放性。与传统的封闭式方法相比，开放式方法能够更全面地捕捉社会现象的复杂性，减少研究者主观偏差，并允许探索未预料到的观点。这种方法为社会模拟研究提供了一种新的视角和思路。
关键设计：论文没有涉及具体的参数设置或网络结构。但是，它强调了在设计社会模拟实验时，应该充分考虑LLM的生成能力，并采用适当的NLP技术对生成的文本进行分析。例如，可以使用主题建模来识别文本中的主要主题，使用情感分析来评估文本的情感倾向，使用文本摘要来提取文本的关键信息。
🖼️ 关键图片
📊 实验亮点
该论文是一篇立场性文章，没有提供具体的实验结果。其亮点在于提出了在LLM社会模拟中拥抱开放性的重要性，并论证了开放性设计在改进测量、减少偏差和增强方法效用方面的潜力。该论文为未来的社会模拟研究指明了方向，并呼吁开发新的评估框架来衡量开放式LLM社会模拟的质量。
🎯 应用场景
该研究成果可应用于舆情分析、政策评估、市场调研等领域。通过更真实地模拟社会现象，可以帮助决策者更好地理解公众需求，制定更有效的政策，并预测市场趋势。未来，该方法有望推动社会科学研究的进步，为解决社会问题提供新的思路。
📄 摘要（原文）
Large Language Models (LLMs) are increasingly used to simulate public opinion and other social phenomena. Most current studies constrain these simulations to multiple-choice or short-answer formats for ease of scoring and comparison, but such closed designs overlook the inherently generative nature of LLMs. In this position paper, we argue that open-endedness, using free-form text that captures topics, viewpoints, and reasoning processes "in" LLMs, is essential for realistic social simulation. Drawing on decades of survey-methodology research and recent advances in NLP, we argue why this open-endedness is valuable in LLM social simulations, showing how it can improve measurement and design, support exploration of unanticipated views, and reduce researcher-imposed directive bias. It also captures expressiveness and individuality, aids in pretesting, and ultimately enhances methodological utility. We call for novel practices and evaluation frameworks that leverage rather than constrain the open-ended generative diversity of LLMs, creating synergies between NLP and social science.