MetaScale: Test-Time Scaling with Evolving Meta-Thoughts

📄 arXiv: 2503.13447v1 📥 PDF

作者: Qin Liu, Wenxuan Zhou, Nan Xu, James Y. Huang, Fei Wang, Sheng Zhang, Hoifung Poon, Muhao Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-17

备注: Work in progress

💡 一句话要点

MetaScale：通过演进的元思考实现大语言模型测试时自适应缩放

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元思考 测试时缩放 自适应推理 多臂老虎机 遗传算法

📋 核心要点

  1. 大型语言模型在复杂推理中依赖于匹配训练数据中的推理模式，缺乏主动选择认知策略的能力。
  2. MetaScale通过引入元思考，即为每个任务定制的自适应思考策略，动态优化推理过程。
  3. 实验表明，MetaScale在多种任务上优于标准推理方法，并在GPT-4o的Arena-Hard上实现了显著的性能提升。

📝 摘要（中文）

本文提出了一种名为METASCALE的测试时缩放框架，旨在解决大型语言模型（LLMs）在复杂推理中过度依赖训练数据中的推理模式匹配的问题。METASCALE基于元思考——为每个任务定制的自适应思考策略。该框架首先初始化一个候选元思考池，然后使用带有上限置信区间选择的多臂老虎机算法迭代地选择和评估这些元思考，并由奖励模型引导。为了进一步增强适应性，遗传算法会进化高奖励的元思考，从而随着时间的推移改进和扩展策略池。通过在推理时动态地提出和优化元思考，METASCALE提高了各种任务的准确性和泛化能力。实验结果表明，MetaScale始终优于标准推理方法，在GPT-4o的Arena-Hard上实现了11%的胜率提升，在风格控制下超过o1-mini 0.9%。值得注意的是，METASCALE随着采样预算的增加而更有效地扩展，并产生更结构化、专家级的响应。

🔬 方法详解

问题定义：大型语言模型在复杂推理任务中，过度依赖训练数据中已有的推理模式，缺乏根据任务特点自适应调整推理策略的能力。现有方法通常采用固定的认知结构，虽然在特定任务上有效，但在不同场景下的泛化能力不足。因此，如何使LLM在测试时能够动态选择和优化推理策略，以适应不同的任务需求，是一个亟待解决的问题。

核心思路：MetaScale的核心思路是引入“元思考”的概念，即针对特定任务定制的自适应思考策略。通过维护一个元思考池，并利用多臂老虎机算法动态选择和评估这些策略，从而使LLM能够根据任务的反馈，不断优化其推理过程。此外，MetaScale还采用遗传算法来进化高奖励的元思考，进一步提升策略池的质量和多样性。

技术框架：MetaScale的整体框架包含以下几个主要模块：1) 元思考池初始化：初始化一组候选的元思考策略。2) 多臂老虎机选择：使用带有上限置信区间（UCB）选择的多臂老虎机算法，从元思考池中选择当前最优的策略。3) 奖励模型评估：利用奖励模型评估所选策略的性能，并根据评估结果更新多臂老虎机。4) 遗传算法进化：使用遗传算法对高奖励的元思考进行进化，生成新的、更优的策略，并将其加入元思考池。整个过程迭代进行，直到达到预定的迭代次数或性能指标。

关键创新：MetaScale的关键创新在于其动态生成和优化元思考的能力。与现有方法采用固定的认知结构不同，MetaScale能够根据任务的反馈，自适应地调整推理策略，从而提高LLM在不同场景下的泛化能力。此外，通过遗传算法进化元思考，MetaScale能够不断发现新的、更有效的推理策略，进一步提升LLM的性能。

关键设计：MetaScale的关键设计包括：1) 多臂老虎机算法：采用UCB算法平衡探索和利用，确保能够快速找到最优的元思考策略。2) 奖励模型：奖励模型的设计至关重要，需要能够准确评估元思考策略的性能。奖励模型可以是预训练的，也可以是根据特定任务进行微调的。3) 遗传算法：遗传算法的设计包括选择、交叉和变异等操作，需要根据元思考的特点进行调整，以确保能够有效地进化元思考。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MetaScale在多个基准测试中均优于标准推理方法。在GPT-4o的Arena-Hard上，MetaScale实现了11%的胜率提升，在风格控制下超过o1-mini 0.9%。此外，MetaScale还表现出更好的可扩展性，随着采样预算的增加，其性能提升更加显著。实验还表明，MetaScale能够生成更结构化、专家级的响应。

🎯 应用场景

MetaScale具有广泛的应用前景，可应用于各种需要复杂推理的任务，例如问答系统、代码生成、文本摘要等。通过动态优化推理策略，MetaScale可以显著提高LLM在这些任务上的性能和泛化能力。此外，MetaScale还可以用于探索LLM的认知过程，帮助我们更好地理解LLM是如何进行推理的，并为未来的LLM设计提供指导。

📄 摘要（原文）

One critical challenge for large language models (LLMs) for making complex reasoning is their reliance on matching reasoning patterns from training data, instead of proactively selecting the most appropriate cognitive strategy to solve a given task. Existing approaches impose fixed cognitive structures that enhance performance in specific tasks but lack adaptability across diverse scenarios. To address this limitation, we introduce METASCALE, a test-time scaling framework based on meta-thoughts -- adaptive thinking strategies tailored to each task. METASCALE initializes a pool of candidate meta-thoughts, then iteratively selects and evaluates them using a multi-armed bandit algorithm with upper confidence bound selection, guided by a reward model. To further enhance adaptability, a genetic algorithm evolves high-reward meta-thoughts, refining and extending the strategy pool over time. By dynamically proposing and optimizing meta-thoughts at inference time, METASCALE improves both accuracy and generalization across a wide range of tasks. Experimental results demonstrate that MetaScale consistently outperforms standard inference approaches, achieving an 11% performance gain in win rate on Arena-Hard for GPT-4o, surpassing o1-mini by 0.9% under style control. Notably, METASCALE scales more effectively with increasing sampling budgets and produces more structured, expert-level responses.