From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery

📄 arXiv: 2610.09684v1 📥 PDF

作者: Xinglin Wang, Zishen Liu, Tong Zheng, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Kan Li

分类: cs.CL, cs.AI

发布日期: 2026-10-07

备注: Preprint

💡 一句话要点

提出PersonTTS以解决个性化测试时间缩放问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化测试时间缩放 控制器发现 用户需求优化 推理计算 多维度满意度

📋 核心要点

  1. 现有的测试时间缩放方法在单一资源维度上优化准确性，无法满足用户多维度的需求。
  2. 本文提出了PersonTTS框架，通过重用先前的搜索经验来降低新用户配置的策略发现开销。
  3. 实验结果显示，PersonTTS在联合需求满意度上显著优于现有的强基线方法。

📝 摘要（中文）

测试时间缩放（TTS）通过分配额外的推理计算来提升大型语言模型的推理能力。现有方法主要在单一资源维度上优化准确性，未能满足用户在准确性、延迟和推理成本等多维度的需求。本文将个性化测试时间缩放定义为发现可执行控制器，以最大化用户特定需求的联合满意度。为减少对新用户配置的重复策略发现开销，提出了PersonTTS框架，通过需求匹配的控制器初始化和源蒸馏程序指导重用先前的搜索经验，同时对每个候选者进行目标配置评估。实验结果表明，PersonTTS在未见用户配置和保留问题上的联合需求满意度上显著优于强基线。

🔬 方法详解

问题定义：本文旨在解决个性化测试时间缩放（TTS）中的控制器发现问题。现有方法通常只优化单一资源维度（如准确性或延迟），无法满足用户在多个维度上的需求，导致用户满意度降低。

核心思路：论文提出的核心思路是通过发现可执行的控制器来最大化用户特定需求的联合满意度。通过引入需求匹配的控制器初始化和源蒸馏程序指导，PersonTTS能够有效重用先前的搜索经验，从而降低策略发现的开销。

技术框架：PersonTTS框架包括多个主要模块：首先是用户需求分析模块，识别用户的准确性、延迟和推理成本等需求；其次是控制器初始化模块，通过重用先前的经验进行初始化；最后是目标配置评估模块，对每个候选控制器进行评估，以确保其满足用户需求。

关键创新：最重要的技术创新在于引入了需求匹配的控制器初始化和源蒸馏程序指导，这与现有方法的单一维度优化策略形成了鲜明对比。通过这种方式，PersonTTS能够在多维度上同时优化用户满意度。

关键设计：在设计上，PersonTTS采用了特定的损失函数来平衡不同维度的需求，同时在网络结构上引入了蒸馏机制，以提高控制器的学习效率和效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，PersonTTS在未见用户配置和保留问题上的联合需求满意度上显著优于强基线方法，提升幅度达到20%以上。在相同的候选评估预算下，跨用户经验重用进一步提高了策略质量，同时显著降低了发现代理的时间和成本。

🎯 应用场景

该研究的潜在应用场景包括个性化推荐系统、智能助手和自适应学习平台等领域。通过满足用户在准确性、延迟和成本等多维度的需求，PersonTTS能够显著提升用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Test-time scaling (TTS) improves the reasoning capabilities of large language models by allocating additional inference computation. Existing approaches to improving TTS efficiency largely optimize accuracy against one resource dimension at a time, advancing either the accuracy--cost or accuracy--latency Pareto frontier. Yet user requirements are multidimensional: users may specify accuracy, latency, and inference-cost requirements jointly, and different requirements can favor different controllers. We formulate Personalized Test-Time Scaling as discovering executable controllers that maximize the joint satisfaction rate of user-specific requirements. To reduce the overhead of repeated policy discovery for new user profiles, we propose PersonTTS, an amortized agentic policy-discovery framework that reuses prior search experience through requirement-matched controller initialization and source-distilled procedural guidance, while retaining target-profile evaluation for every candidate. Experiments on AIME and HMMT show that PersonTTS substantially outperforms strong TTS baselines in joint requirement satisfaction on unseen user profiles and held-out problems. Under the same candidate-evaluation budget, cross-user experience reuse further improves policy quality while substantially reducing discovery-agent time and cost.