Learning to Predict Distributions over Weight Updates for Test-Time Adaptation
作者: Azal Ahmad Khan, Keshav Ramji, Tahira Naseem, Ali Anwar, Ramón Fernandez Astudillo
分类: cs.LG
发布日期: 2026-10-01
💡 一句话要点
提出分布式超网络以优化测试时适应性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超网络 测试时适应 分布式学习 参数适配 自然语言处理
📋 核心要点
- 现有方法在测试时适应性方面依赖于固定模型的令牌序列采样，计算效率低下。
- 本文提出了查询条件的分布式超网络，能够生成参数适配器的分布，提升适应性和扩展性。
- 实验结果显示，使用学习到的分布均值在性能上超越了传统的确定性超网络，且适应性更强。
📝 摘要（中文）
超网络最近在根据任务描述或额外示例动态调整大型语言模型（LLM）参数方面取得了成功。本文探讨了仅使用输入查询可以获得多少适应信号。我们研究了基于查询的超网络用于LoRA估计，并引入了分布式超网络，能够生成参数适配器的分布而不仅仅是点估计。通过简单的端到端损失和可微分的蒙特卡洛近似，我们探索了多种分布参数化方式。结果表明，即使使用学习到的分布的均值也能超越确定性超网络。学习到的分布支持测试时的不同扩展形式，允许我们通过采样权重更新生成多个适应模型，性能随着权重样本数量的增加而提升，并且优于相应的基于令牌采样的适应基线。最后，我们发现生成的更新可以在查询之间转移，表明超网络学习到了模型适应的可重用结构。
🔬 方法详解
问题定义：本文旨在解决在测试时适应性中，现有方法依赖固定模型的令牌序列采样导致的计算效率低下问题。
核心思路：论文提出了查询条件的分布式超网络，能够生成参数适配器的分布，从而实现更灵活的模型适应性。通过这种设计，模型可以在测试时生成多个适应版本，提升了计算效率和适应能力。
技术框架：整体架构包括输入查询、分布式超网络模块和损失计算模块。输入查询通过超网络生成参数适配器的分布，随后通过可微分的蒙特卡洛近似计算损失并优化网络。
关键创新：最重要的技术创新在于引入了分布式超网络，能够生成参数适配器的分布而非单一的点估计。这一方法与现有的确定性超网络方法本质上不同，提供了更丰富的适应性信息。
关键设计：在损失函数设计上，采用了简单的端到端损失结合可微分的蒙特卡洛近似。此外，探索了多种分布参数化方式，包括回归和凸组合变体，以优化适应效果。具体的网络结构和参数设置在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用学习到的分布均值在性能上超越了传统的确定性超网络，且在多个适应模型生成方面表现优异。具体而言，随着权重样本数量的增加，模型性能持续提升，显著优于基于令牌采样的适应基线。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够在动态环境中根据输入查询实时调整模型参数，提升模型的适应性和性能。未来，这种方法可能会推动更高效的模型训练和推理，尤其是在资源受限的场景中。
📄 摘要（原文）
Hypernetworks have recently shown success in dynamically adapting the parameters of Large Language Models (LLMs) at runtime based on signals such as task descriptions or additional demostrations. Here we ask: how much adaptation signal can be obtained using only the input query to an LLM?. To answer this, we study query-conditioned Hypernetworks for LoRA estimation. Further, we introduce distributional Hypernetworks, able to produce not only point estimates of parameter adaptors, but also a distribution over possible LoRAs. For this we propose a simple end-to-end loss using a differentiable Monte Carlo approximation and explore multiple distribution parametrizations including regression and convex combination variants. Results show that even using the mean of the learned distribution can outperform deterministic hypernetworks. Crucially, the learned distribution enables a different form of test-time scaling: instead of spending additional compute only by sampling more token sequences from a fixed model, we sample weight updates, yielding multiple adapted models for the same query. Performance improves as more weight samples are considered and remains stronger than corresponding token-sampling adaptation baselines. Finally, we find that generated updates can transfer across queries, suggesting that the hypernetwork learns reusable structure in how the model should adapt. Together, these results show that query-conditioned distributions over weight updates can support both adaptation and test-time scaling.