Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

📄 arXiv: 2610.13823v1 📥 PDF

作者: Oktie Hassanzadeh, Dharmashankar Subramanian

分类: cs.DB, cs.AI

发布日期: 2026-10-09

备注: Code and data: https://github.com/semviews/sqp-variance-study

💡 一句话要点

提出新方法以解决语义查询处理中的执行变异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义查询 大型语言模型 执行变异 基准测试 数据一致性 模型评估 智能问答 决策支持

📋 核心要点

  1. 现有的语义查询引擎在执行时存在显著的运行间变异，导致结果不一致，影响了评估的可靠性。
  2. 本文通过重新执行多个基准测试，记录每次模型调用，分析执行结果的变化，提出了新的评估方法。
  3. 实验结果显示，执行间的行输出变化率在0.07%至24.0%之间，且投票机制虽然减少了变异，但无法完全消除。

📝 摘要（中文）

语义查询引擎依赖大型语言模型（LLM）对单行数据进行判断，现有基准测试在温度为0时仅比较少量执行的质量。本文测量了不同执行之间的变化，重新执行了SemBench、LRO-Bench和UDA-Bench的文本和表格工作负载，记录了120万次模型调用，并重新分析了SemBench的已发布执行结果。在温度为0的情况下，5次执行中0.07%至10.2%的行输出发生变化，某些任务中变化高达24.0%。计划的变化在答案暴露的行数上呈指数放大，预测模型显示，提取值的变化率为几个百分点，但答案的变化率约为三分之二。本文还提出了基准报告规则和引擎设计规则。

🔬 方法详解

问题定义：本文旨在解决语义查询处理中的运行间变异问题，现有方法在执行时未能充分考虑模型间的一致性，导致结果不稳定。

核心思路：通过对SemBench、LRO-Bench和UDA-Bench的多次执行，记录并分析每次模型调用的输出变化，提出新的评估标准和引擎设计规则，以提高结果的一致性和可靠性。

技术框架：整体框架包括数据收集、模型调用记录、结果分析和评估标准制定四个主要模块。首先，重新执行基准测试以获取数据；然后记录每次调用的输出；接着分析不同执行间的变化；最后制定新的报告和设计规则。

关键创新：最重要的创新在于通过系统性地记录和分析模型调用，揭示了执行间的变异性，并提出了基于此的评估和设计规则，与现有方法相比，更加全面和准确。

关键设计：在实验中，设置了不同的温度参数，使用了投票机制来减少变异，同时设计了校准级联以保持结果的一致性，确保在变化的行中仍能提供可靠的输出。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在温度为0的情况下，5次执行中0.07%至10.2%的行输出发生变化，某些任务中变化高达24.0%。此外，21%的文本结果在不同执行间质量发生变化，表明现有基准测试的不足。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、数据分析和决策支持系统等。通过提高语义查询引擎的稳定性和一致性，可以在多个行业中提升数据处理的可靠性，进而影响商业决策和用户体验。

📄 摘要（原文）

Semantic query engines ask a large language model (LLM) to judge individual rows, and benchmarks compare these engines on the quality of a few executions at temperature 0. We measure how much another execution changes. We re-execute the text and tabular workloads of SemBench, LRO-Bench, and UDA-Bench through their own harnesses, log every one of 1.2 million model calls, and reanalyze SemBench's published executions. At temperature 0, between 0.07% and 10.2% of rows change their operator output over five executions, depending on the model, and up to 24.0% on one task. Plans amplify these changes exponentially in the number of rows an answer exposes, as a possible-worlds model predicts: on UDA-Bench, a few percent of extracted values change, but about two thirds of the answers do. In SemBench's published results, 21% of text results change quality between executions, including on engines whose plans are deterministic. Several per-query system comparisons, and 16 of 28 tests of LRO-Bench's implementation recommendations, are not settled by the executions the benchmarks run. Changing rows are rows on which models disagree with each other; identical requests within one execution disagree as often as across executions; and one execution's decision margin or reasoning length predicts which rows change. Voting reduces the variance but does not remove it, and a calibrated cascade keeps its guarantee while the rows it returns change. We derive reporting rules for benchmarks and design rules for engines.