TestNUC: Enhancing Test-Time Computing Approaches and Scaling through Neighboring Unlabeled Data Consistency

📄 arXiv: 2502.19163v2 📥 PDF

作者: Henry Peng Zou, Zhengyao Gu, Yue Zhou, Yankai Chen, Weizhi Zhang, Liancheng Fang, Yibo Wang, Yangning Li, Kay Liu, Philip S. Yu

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2025-02-26 (更新: 2025-05-31)

备注: Accepted by ACL 2025 main conference

🔗 代码/项目: GITHUB

💡 一句话要点

TestNUC：利用邻域未标注数据一致性提升测试时计算方法并实现线性扩展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时计算 大语言模型 邻域一致性 未标注数据 线性扩展

📋 核心要点

  1. 现有测试时计算方法虽能提升大模型性能，但未充分利用未标注数据中的信息。
  2. TestNUC的核心思想是利用邻域未标注数据的局部一致性来提升测试时的预测准确性。
  3. 实验表明，TestNUC在多个数据集上优于基线方法，并能与现有测试时计算方法有效集成。

📝 摘要（中文）

本文提出了一种新颖的、线性扩展的测试时计算方法TestNUC，旨在通过利用邻域未标注数据的局部一致性来改进大语言模型的测试时预测性能。TestNUC不仅考虑模型对输入实例的预测，还考虑对邻近未标注实例的预测，从而对输入实例进行分类。我们在八个不同的数据集上评估了TestNUC，这些数据集涵盖意图分类、主题挖掘、领域发现和情感检测，结果表明TestNUC始终优于标准提示和自洽性等基线方法。此外，TestNUC可以与现有的测试时计算方法无缝集成，从而显著提高它们的性能。分析表明，TestNUC可以随着未标注数据量的增加而有效地扩展，并且在不同的嵌入模型中表现出稳健性，使其适用于实际应用。代码已开源。

🔬 方法详解

问题定义：论文旨在解决测试时计算方法中，如何更有效地利用未标注数据以提升大语言模型性能的问题。现有方法通常只关注单个输入实例，忽略了其邻域内未标注数据可能提供的有价值信息，导致性能提升受限。

核心思路：TestNUC的核心思路是利用邻域未标注数据的局部一致性。假设在嵌入空间中，一个实例与其邻近的未标注实例具有相似的语义信息，因此它们的预测结果应该趋于一致。通过考虑邻域实例的预测结果，可以对目标实例的预测进行修正，从而提高准确性。

技术框架：TestNUC的整体框架包括以下几个主要步骤：1) 对输入实例进行嵌入表示；2) 在嵌入空间中找到输入实例的K个最近邻未标注实例；3) 使用大语言模型对输入实例及其邻居实例进行预测；4) 基于邻居实例的预测结果，对输入实例的预测进行加权平均或投票，得到最终预测结果。

关键创新：TestNUC的关键创新在于它显式地利用了邻域未标注数据的一致性信息。与传统的测试时计算方法相比，TestNUC不仅考虑了模型对单个实例的预测，还考虑了邻域实例的预测，从而能够更有效地利用未标注数据，提升预测准确性。此外，TestNUC具有线性扩展性，能够随着未标注数据量的增加而持续提升性能。

关键设计：TestNUC的关键设计包括：1) 如何选择合适的嵌入模型来表示实例；2) 如何定义邻域关系（例如，使用余弦相似度）；3) 如何选择合适的K值（即邻居的数量）；4) 如何对邻居实例的预测结果进行加权平均或投票。论文中可能探讨了不同参数设置对性能的影响，并给出了相应的建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TestNUC在八个不同的数据集上均优于基线方法，包括标准prompting和自洽性方法。此外，TestNUC可以与现有的测试时计算方法无缝集成，并显著提高它们的性能。例如，与自洽性方法结合使用时，TestNUC能够进一步提升模型在多个任务上的准确率，最高提升幅度达到显著水平。

🎯 应用场景

TestNUC可广泛应用于各种需要利用大语言模型进行推理的场景，例如文本分类、信息检索、情感分析等。尤其是在标注数据稀缺的情况下，TestNUC能够有效利用大量的未标注数据来提升模型性能，具有重要的实际应用价值。未来，该方法可以进一步扩展到其他模态的数据，例如图像和视频，从而实现更广泛的应用。

📄 摘要（原文）

Test-time computing approaches, which leverage additional computational resources during inference, have been proven effective in enhancing large language model performance. This work introduces a novel, linearly scaling approach, TestNUC, that improves test-time predictions by leveraging the local consistency of neighboring unlabeled data-it classifies an input instance by considering not only the model's prediction on that instance but also on neighboring unlabeled instances. We evaluate TestNUC across eight diverse datasets, spanning intent classification, topic mining, domain discovery, and emotion detection, demonstrating its consistent superiority over baseline methods such as standard prompting and self-consistency. Furthermore, TestNUC can be seamlessly integrated with existing test-time computing approaches, substantially boosting their performance. Our analysis reveals that TestNUC scales effectively with increasing amounts of unlabeled data and performs robustly across different embedding models, making it practical for real-world applications. Our code is available at https://github.com/HenryPengZou/TestNUC.