SCBO: Semantically Coherent Batching and Ordering for LLM-Based Social Surveys

📄 arXiv: 2609.35250v1 📥 PDF

作者: Yuanzi Li, Lingjie Wang, Zihang Tian, Lei Wang, Xu Chen

分类: cs.CL, cs.CY

发布日期: 2026-09-28

💡 一句话要点

提出SCBO以解决LLM社交调查中的批处理与排序问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社交调查 批处理 排序 语义表示

📋 核心要点

  1. 现有方法在每次提示中重复编码相同上下文，限制了参考回答的多样性，导致信息利用不足。
  2. SCBO通过提取语义表示、分组相关问题和构建共享参考库，优化了多个问题的批处理与排序。
  3. 在四个大规模调查数据集和四种LLM上，SCBO显著降低了令牌消耗和推理时间，同时提高了预测准确性。

📝 摘要（中文）

大型语言模型（LLMs）提供了一种可扩展的方法，通过人口统计特征和观察到的参考回答来模拟调查受访者。然而，传统方法在每次提示中重复编码相同的上下文，限制了每个目标的参考回答范围，并且无法利用早期回答的信息。通过在一个提示中预测多个问题，可以减少这些成本，分享更广泛的参考池，并让后续预测基于早期回答。为此，本文提出了一种训练无关的框架——语义一致的批处理与排序（SCBO），该框架首先利用LLM提取调查项目的紧凑语义表示并过滤模板噪声，然后将相关问题分组为批次，并使用目标特定的检索和基于中心的补全构建共享参考库，最后根据问题的难易程度对目标问题进行排序，并根据与这些问题的语义对齐程度安排参考。实验结果表明，SCBO显著减少了令牌消耗和推理时间，同时在预测准确性上普遍优于非批处理基线。

🔬 方法详解

问题定义：本文解决的是在大型语言模型（LLM）基础上进行社交调查时，如何有效批处理和排序问题的挑战。现有方法在每次提示中重复编码相同的上下文，限制了参考回答的多样性，导致信息利用不足。

核心思路：SCBO的核心思路是通过在一个提示中同时预测多个问题，来减少上下文重复和提高信息利用效率。通过提取语义表示和构建共享参考库，SCBO能够优化问题的批处理与排序。

技术框架：SCBO的整体架构包括三个主要模块：首先，利用LLM提取调查项目的紧凑语义表示并过滤模板噪声；其次，将相关问题分组为批次，并构建共享参考库；最后，根据问题的难易程度对目标问题进行排序，并根据语义对齐程度安排参考。

关键创新：SCBO的主要创新在于其训练无关的框架设计，能够有效地提取语义信息并进行问题的批处理与排序。这与现有方法的逐个问题预测方式形成了本质区别。

关键设计：在SCBO中，关键设计包括使用目标特定的检索方法和基于中心的补全策略来构建共享参考库，以及根据问题的难易程度和语义对齐程度进行排序的策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SCBO在四个大规模调查数据集上显著减少了令牌消耗和推理时间，具体表现为在预测准确性上普遍优于非批处理基线，提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括市场调查、社会科学研究和用户反馈收集等。通过优化调查问卷的设计与实施，SCBO能够提高数据收集的效率和准确性，进而为决策提供更可靠的支持。未来，该方法有望在更广泛的社交调查和人机交互场景中发挥重要作用。

📄 摘要（原文）

Large Language Models (LLMs) offer a scalable way to simulate survey respondents using demographic profiles and observed reference responses. However, the conventional approach of predicting one question per prompt repeatedly encodes the same context, limits each target to a narrow set of reference responses, and prevents later predictions from using information in earlier answers. Predicting multiple questions in one prompt can reduce these costs, share a broader pool of references, and let later predictions build on earlier ones. This requires forming coherent batches, selecting shared references, and ordering questions and references effectively. We propose Semantically Coherent Batching and Ordering (SCBO), a training-free framework that addresses these challenges. SCBO first uses an LLM to extract compact semantic representations from survey items and filter out template noise. It then groups related questions into batches and builds a shared reference bank using target-specific retrieval and centroid-based completion. Finally, it orders target questions from easy to hard and arranges references according to their semantic alignment with those questions. Experiments on four large-scale survey datasets and four LLMs show that SCBO substantially reduces token consumption and inference time while generally improving prediction accuracy over a non-batched baseline. Code is available at https://anonymous.4open.science/r/SCBO-41D8.