RPRA: Predicting an LLM-Judge for Efficient but Performant Inference
作者: Dylan R. Ashley, Gaël Le Lan, Changsheng Zhao, Naina Dhingra, Zhipeng Cai, Ernie Chang, Mingchen Zhuge, Yangyang Shi, Vikas Chandra, Jürgen Schmidhuber
分类: cs.AI, cs.CL, cs.LG, cs.MA
发布日期: 2026-04-14
备注: 10 pages in main text + 6 pages of references + 36 pages of appendices, 12 figures in main text + 37 figures in appendices, 2 tables in main text + 3 table in appendices, 13 prompts in appendices
💡 一句话要点
提出RPRA框架，提升小模型推理效率，通过预测LLM判决结果实现自适应推理。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 模型推理 自适应推理 模型预测 计算效率
📋 核心要点
- 现有LLM在计算效率和输出质量间存在权衡，尤其在算力受限设备上部署时面临挑战。
- 论文提出RPRA框架，使小模型能预测LLM判决结果，从而决定是否需要依赖大模型。
- 实验表明，通过报告卡或微调，小模型预测准确率显著提升，最高可达55%和52%。
📝 摘要（中文）
大型语言模型（LLM）在计算效率（例如，参数数量）和输出质量之间面临着根本性的权衡，尤其是在手机或笔记本电脑等计算能力有限的设备上部署时。本文提出了一种解决此挑战的方法，即模仿人类，让模型在认为自己无法独立解决问题时寻求帮助。通过允许较小的模型在认为可以提供良好响应时响应查询，并在不确定时推迟到较大的模型，可以克服这种权衡。为此，本文研究了Predict-Answer/Act (PA)和Reason-Predict-Reason-Answer/Act (RPRA)范例的可行性，其中模型在响应之前预测LLM判决者将如何评价其输出。我们评估了三种方法：零样本预测、使用上下文报告卡的预测以及监督微调。结果表明，较大的模型（特别是推理模型）在零样本预测通用LLM判决者时表现良好，而较小的模型在经过微调或提供上下文报告卡后可以可靠地预测此类判决者。总而言之，这两种方法都可以显着提高较小模型的预测准确性，报告卡和微调分别实现了高达55%和52%的平均数据集改进。这些发现表明，模型可以学习预测自身的性能限制，从而为更高效和自我感知的AI系统铺平道路。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在计算资源受限设备上部署时，计算效率和输出质量之间的权衡问题。现有方法要么牺牲模型大小以提高效率，导致质量下降；要么保持模型较大，但计算成本过高。痛点在于无法根据任务难度自适应地选择合适的模型规模。
核心思路：论文的核心思路是让小模型学习预测其自身输出的质量，具体来说，就是预测一个更大的LLM判决者（LLM Judge）对该输出的评分。如果小模型预测自己能给出好的答案，就直接输出；否则，将任务交给更大的模型处理。这样可以实现自适应的推理，在保证质量的前提下提高效率。
技术框架：整体框架包含以下几个主要步骤：1）小模型接收输入并生成初步答案；2）小模型使用PA或RPRA范式预测LLM判决者对该答案的评分；3）根据预测的评分，决定是直接输出答案还是将任务交给更大的LLM处理；4）如果交给更大的LLM，则由其生成最终答案。
关键创新：最重要的技术创新点在于提出了PA和RPRA范式，使模型能够预测自身性能。与现有方法相比，RPRA框架允许模型在生成答案之前进行推理，从而更好地评估自身能力。此外，论文还探索了零样本预测、上下文报告卡和监督微调三种不同的预测方法。
关键设计：论文评估了三种预测LLM判决者评分的方法：零样本预测，即直接使用LLM进行预测；使用上下文报告卡，即在输入中加入模型历史表现的报告卡；以及监督微调，即使用标注数据对模型进行微调，使其能够更准确地预测LLM判决者的评分。损失函数未知，网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，较大的模型在零样本预测通用LLM判决者时表现良好，而较小的模型在经过微调或提供上下文报告卡后可以可靠地预测此类判决者。报告卡和微调分别实现了高达55%和52%的平均数据集改进，证明了该方法在提高小模型预测准确性方面的有效性。
🎯 应用场景
该研究成果可应用于各种需要高效推理的场景，例如移动设备上的智能助手、边缘计算设备上的自然语言处理应用等。通过自适应地选择模型规模，可以在保证服务质量的同时，显著降低计算成本和延迟，提升用户体验。未来，该技术有望推动LLM在资源受限环境下的广泛应用。
📄 摘要（原文）
Large language models (LLMs) face a fundamental trade-off between computational efficiency (e.g., number of parameters) and output quality, especially when deployed on computationally limited devices such as phones or laptops. One way to address this challenge is by following the example of humans and have models ask for help when they believe they are incapable of solving a problem on their own; we can overcome this trade-off by allowing smaller models to respond to queries when they believe they can provide good responses, and deferring to larger models when they do not believe they can. To this end, in this paper, we investigate the viability of Predict-Answer/Act (PA) and Reason-Predict-Reason-Answer/Act (RPRA) paradigms where models predict -- prior to responding -- how an LLM judge would score their output. We evaluate three approaches: zero-shot prediction, prediction using an in-context report card, and supervised fine-tuning. Our results show that larger models (particularly reasoning models) perform well when predicting generic LLM judges zero-shot, while smaller models can reliably predict such judges well after being fine-tuned or provided with an in-context report card. Altogether, both approaches can substantially improve the prediction accuracy of smaller models, with report cards and fine-tuning achieving mean improvements of up to 55% and 52% across datasets, respectively. These findings suggest that models can learn to predict their own performance limitations, paving the way for more efficient and self-aware AI systems.