Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning
作者: Ming Shen, Tianjun Yao
分类: cs.AI
发布日期: 2026-10-16
💡 一句话要点
提出DIA以解决LLM推理中的模型特定偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 推理稳定性 异构模型 独立求解 性能提升
📋 核心要点
- 现有的测试时计算扩展方法假设同一模型的额外计算提供独立证据，但这一假设在实际中并不成立。
- 论文提出DIA方法，通过中间阶段与最终阶段预测的不一致来识别推理不稳定性，并利用异构模型独立解决问题。
- 实验结果显示，DIA在多个基准上表现优异，尤其在MuSiQue上提升了7.00%，且显著减少了token使用量。
📝 摘要（中文）
测试时的计算扩展方法隐含假设同一模型的额外计算提供独立证据。我们表明这一假设在单一推理模型中并不成立：错误在重复样本、推理深度和模型自我评估中是相关的，因此来自同一模型的更多计算并不等于更多证据。我们提出了DIA（不一致触发的独立仲裁），将中间阶段与最终阶段预测之间的不一致视为推理不稳定的信号，通过请求一小组异构模型独立解决问题并直接聚合其答案来解决这一问题。在七个基准和两个基础模型上，DIA在14个设置中有12个超越了完整的思维链，包括在MuSiQue上获得7.00%的提升，同时仅在约17%的示例上激活，并使用比多代理基线少47.2%的token。消融实验表明，独立求解和求解者异构性对这些提升都是必要的。
🔬 方法详解
问题定义：本论文旨在解决现有测试时计算扩展方法假设的局限性，即同一模型的额外计算并不提供独立证据，导致推理错误的相关性问题。
核心思路：DIA方法通过识别中间阶段与最终阶段预测之间的不一致，作为推理不稳定的信号，进而请求一组异构模型独立解决问题，以提高推理的准确性和稳定性。
技术框架：DIA的整体架构包括三个主要模块：首先是中间预测的生成，其次是对中间预测与最终预测之间不一致的检测，最后是通过异构模型进行独立求解并聚合结果。
关键创新：DIA的核心创新在于利用模型间的不一致性作为推理不稳定的指示，并通过异构模型的独立求解来提高整体推理性能，这与传统方法依赖单一模型的思维链显著不同。
关键设计：DIA在设计上强调求解者的异构性和独立求解的必要性，确保在推理过程中能够有效聚合不同模型的答案，从而提升整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DIA在14个设置中有12个超越了完整的思维链，特别是在MuSiQue基准上获得了7.00%的性能提升。同时，DIA仅在约17%的示例上激活，并使用比多代理基线少47.2%的token，展现出其高效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提高模型在推理过程中的稳定性和准确性，DIA方法能够在实际应用中显著提升用户体验和系统性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Test-time scaling methods implicitly assume that additional computation from the same model provides independent evidence. We show that this assumption fails within a single reasoning model: errors are correlated across repeated samples, across reasoning depth, and in the model's own self-evaluation, so more compute from the same model is not more evidence. We introduce DIA (Disagreement-triggered Independent Arbitration), which treats disagreement between an intermediate-stage and the final-stage prediction as a per-question signal of reasoning instability and resolves it by asking a small panel of heterogeneous models to solve the question independently, without seeing either candidate, and aggregating their answers directly. Across seven benchmarks and two base models, DIA outperforms full chain-of-thought in 12 of 14 settings, including a 7.00% gain on MuSiQue, while activating on only $\sim 17\%$ of examples and using up to 47.2% fewer tokens than a multi-agent baseline. Ablations show that both independent solving and solver heterogeneity are necessary for these gains.