SteerAct: Unlocking Action Models through Few-Shot Temporal Steering

📄 arXiv: 2610.25632v1 📥 PDF

作者: Kaichen Zhou, Zhiyan Li, Chongkai Gao, Yuhan Wang, Wenlong Huang, Maggie Wang, Fangneng Zhan, Manling Li, Qianqian Wang, Mac Schwager, Zhuang Liu, Li Fei-Fei, Mengyu Wang, Paul Pu Liang

分类: cs.RO

发布日期: 2026-10-19

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SteerAct以解决机器人动作模型在少量样本下的优化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人动作模型 激活引导 时间描述符 少量样本学习 稀疏特征动态

📋 核心要点

  1. 现有方法在测试时仅依赖少量回合来改善机器人动作模型的性能，面临特征选择和修改时机的挑战。
  2. SteerAct框架通过共享时间描述符进行稀疏特征动态的离线选择和在线控制，优化了激活引导过程。
  3. 在多个评估任务中，SteerAct相较于未引导模型提高了约10%的任务成功率，展示了其有效性。

📝 摘要（中文）

改善预训练机器人动作模型在测试时仅通过少量回合进行优化仍然具有挑战性。激活引导提供了一种轻量级的方法，通过修改特征激活而保持模型权重不变。然而，有效的引导需要识别需要修改的特征，并确定修改的时机和强度。我们提出了SteerAct，一个少量样本的时间引导框架，利用稀疏特征动态的共享时间描述符进行离线特征选择和在线控制。预训练的稀疏自编码器提供候选特征，而我们的时间描述符总结了每个特征的局部激活顺序模式的分布，使得在不需要时间步对齐的情况下能够进行回合间的比较。在引导开始之前（离线），我们使用成功和失败的参考回合选择一个任务特定特征，其时间描述符能够最好地区分这两种结果，并构建其参考库。在每次新的执行中（在线），我们比较特征的演变时间描述符与这些参考，以确定何时干预以及如何通过引导系数强烈增加或减少其激活。仅使用每个任务24个结果标记的回合，SteerAct在多个评估中相较于未引导模型提高了约10%的任务成功率。

🔬 方法详解

问题定义：本论文旨在解决在测试阶段如何通过少量回合有效改善预训练机器人动作模型的问题。现有方法在特征选择和修改时机上存在不足，导致优化效果不佳。

核心思路：SteerAct的核心思路是利用共享的时间描述符来进行稀疏特征的动态选择和控制，从而在不更新模型权重的情况下实现有效的激活引导。

技术框架：SteerAct的整体架构包括离线特征选择和在线控制两个阶段。离线阶段通过成功和失败的参考回合选择任务特定特征，并构建其参考库；在线阶段则比较特征的演变时间描述符与参考库，以决定干预时机和强度。

关键创新：SteerAct的主要创新在于引入了共享时间描述符，使得特征选择和干预过程更加高效，且不需要时间步对齐。这一方法显著提升了模型在少量样本情况下的适应能力。

关键设计：在特征选择过程中，使用预训练的稀疏自编码器提供候选特征，并通过时间描述符总结局部激活顺序模式。引导系数的设计则决定了激活的增减强度，确保了引导过程的灵活性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个评估任务中，SteerAct相较于未引导模型提高了约10%的任务成功率，展示了其在少量样本情况下的显著效果。实验涵盖了多个基准测试，包括$π_{0.5}$、Fast-WAM、RoboTwin 2.0、DexJoCo和真实世界操作，验证了方法的有效性。

🎯 应用场景

SteerAct的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过优化机器人在复杂环境中的任务执行能力，该方法能够提升机器人在实际操作中的成功率和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Improving pretrained robot action models at test time from only a few rollouts remains challenging. Activation steering offers a lightweight approach by modifying feature activations while keeping model weights fixed. However, effective steering requires identifying which features to modify and determining the timing and strength of modification. We introduce SteerAct, a few-shot temporal steering framework that uses a shared temporal descriptor of sparse-feature dynamics for offline feature selection and online control. A pretrained sparse autoencoder provides candidate features, and our temporal descriptor summarizes the distribution of local activation-order patterns for each feature, enabling comparisons across rollouts without requiring timestep alignment. Before steering begins (offline), we use successful and failed reference rollouts to select a single task-specific feature whose temporal descriptors best distinguish the two outcomes and construct its reference banks. During each new execution (online), we compare the feature's evolving temporal descriptor with these references to determine when to intervene and how strongly to increase or decrease its activation via a steering coefficient. Using only 24 outcome-labeled rollouts per task, SteerAct improves task success by approximately 10% relative to unsteered models in evaluations spanning $π_{0.5}$, Fast-WAM, RoboTwin 2.0, DexJoCo, and real-world manipulation, without updating action-model weights. Code and demos are available at: https://steeract.github.io/.