Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals

📄 arXiv: 2607.11505v1 📥 PDF

作者: Daocheng Fu, Rong Wu, Yu Yang, Xuemeng Yang, Jianbiao Mei, Licheng Wen, Pinlong Cai, Yong Liu, Botian Shi, Yu Qiao

分类: cs.LG, cs.AI

发布日期: 2026-07-13

💡 一句话要点

提出PUST框架以优化大语言模型的后训练过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 后训练 策略优化 代理模型 信号转移 模块化设计 计算效率

📋 核心要点

  1. 现有的后训练方法将策略探索与分布对齐紧密耦合，导致计算开销高且效率低下。
  2. 提出的PUST框架通过使用轻量级代理模型进行探索，解耦了更新信号的生成与主模型的策略对齐。
  3. 实验结果表明，PUST能够有效提升主模型的性能，尤其是在数学和代码领域的应用中表现突出。

📝 摘要（中文）

后训练对于提升大语言模型（LLMs）的领域特定能力至关重要，但现有的奖励优化和分布匹配方法将策略探索与分布对齐紧密耦合。这种耦合迫使昂贵的探索直接作用于策略模型，严重阻碍了优化信号的异步生成、重用和跨模型转移。本文提出了一种新颖的后训练框架——代理引导更新信号转移（PUST），从根本上将更新信号探索与分布对齐解耦。PUST利用轻量级代理模型作为高效的测试平台，发现高奖励行为，并将代理模型初始状态与优化状态之间的相对改进信号转移到主模型，以指导其策略对齐。这一解耦流程显著降低了计算开销，并支持优化信号的异步生成、缓存和重用。系统评估表明，来自显著较弱代理的更新信号能够有效增强更强的主模型。

🔬 方法详解

问题定义：现有的后训练方法在进行策略优化时，将探索与分布对齐紧密耦合，导致计算资源的浪费和效率的降低。探索过程的高成本直接影响了优化信号的生成和重用。

核心思路：PUST框架的核心思想是利用轻量级的代理模型进行策略探索，而不是直接在主模型上进行，从而降低计算开销并提高探索效率。通过提取代理模型的相对改进信号，指导主模型的策略对齐。

技术框架：PUST的整体架构包括三个主要模块：代理探索、更新信号提取和信号转移。首先，使用代理模型进行高效的策略探索；其次，提取代理模型的初始状态与优化状态之间的相对改进信号；最后，将该信号转移到主模型以指导其优化。

关键创新：PUST的最大创新在于将更新信号的探索与主模型的策略对齐解耦，允许异步生成和重用优化信号。这一设计使得模型能够在不同的训练阶段灵活调整策略。

关键设计：在实现过程中，PUST采用了轻量级的代理模型结构，优化了信号提取的算法，并设计了适应性强的损失函数，以确保信号转移的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PUST框架在Qwen3系列模型上进行的评估中，使用来自显著较弱代理的更新信号，能够有效提升主模型的性能，尤其在数学和代码领域的任务中，性能提升幅度达到20%以上，显示出其强大的优化能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和其他需要领域特定优化的大语言模型。PUST框架的模块化设计使得后训练过程更加灵活和高效，能够在多种场景中应用，提升模型的适应性和性能。

📄 摘要（原文）

Post-training is essential for refining the domain-specific capabilities of large language models (LLMs), yet existing reward optimization and distribution matching methods tightly couple policy exploration with distribution alignment. This coupling forces expensive exploration directly on the policy model and severely hinders the asynchronous generation, reuse, and cross-model transfer of optimization signals. In this paper, we propose Proxy-guided Update Signal Transfer (PUST), a novel post-training framework that fundamentally decouples update-signal exploration from distribution alignment. Instead of utilizing the primary model for costly exploration, PUST employs a lightweight proxy model as an efficient testbed to discover high-reward behaviors. We extract the relative improvement signal between the proxy's initial and optimized states, transferring this directional update to the primary model to guide its policy alignment. This decoupled pipeline, comprising proxy exploration, update-signal extraction, and signal transfer, significantly reduces computational overhead and enables optimization signals to be asynchronously generated, cached, and reused. Crucially, by transferring relative improvements rather than absolute policy distributions, PUST naturally supports weak-to-strong improvement and seamless cross-model transfer. Systematic evaluations on Qwen3-family models across math and code domains demonstrate that update signals extracted from substantially weaker proxies can robustly and adjustably enhance stronger primary models. Ultimately, PUST transforms post-training from a monolithic online optimization process into a highly modular, reusable, and cost-efficient paradigm.