SteerQuant: Steering Quantization Error with Action-Guided Scaling in World-Action Models
作者: Yunhan Wang, Haodong Wang, Zhiming Liu, Zicong Hong, Qianli Liu, Xiaoyi Pang, Yangjia Hu, Quanxin Shou, Yikun Miao, Song Guo
分类: cs.RO
发布日期: 2026-09-30
备注: Yunhan Wang and Haodong Wang contributed equally to this work
💡 一句话要点
提出SteerQuant以解决世界-动作模型中的量化误差问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 量化误差 世界-动作模型 机器人控制 低位量化 推理加速 多模态处理 激活缩放
📋 核心要点
- 现有的世界-动作模型在量化过程中，数值误差对最终动作的影响差异显著，导致控制的可靠性不足。
- 本文提出SteerQuant，通过引导量化误差至影响较小的计算，优化4位量化在WAMs中的应用。
- 实验结果显示，SteerQuant在保持高精度的同时，实现了高达2.23倍的去噪加速，并在真实双臂机器人上提升了推理速度。
📝 摘要（中文）
世界-动作模型（WAMs）通过迭代去噪生成未来的世界状态和动作，使用共享权重处理异构的语义流。然而，量化虽然可以降低推理成本，但不同流的数值误差对最终动作的影响差异显著，单纯追求数值精度不足以保证可靠控制。为此，本文提出SteerQuant，一个针对WAMs的4位量化框架，能够将误差引导至对最终动作影响较小的计算中。该框架通过映射每个流的量化误差对最终动作的影响，指导共享通道的缩放，并在每个流和去噪步骤中进一步校准激活缩放，以适应激活范围和动作影响的变化。实验表明，SteerQuant在多个WAMs上实现了显著的去噪加速和内存使用降低。
🔬 方法详解
问题定义：本文旨在解决世界-动作模型（WAMs）在量化过程中，数值误差对最终动作影响不均的问题。现有方法在不同流的量化误差相似时，无法保证控制的可靠性。
核心思路：SteerQuant通过映射量化误差对最终动作的影响，指导共享通道的缩放，从而将误差引导至对最终动作影响较小的计算中。此设计使得量化过程能够适应不同流的需求，而无需增加权重或位宽。
技术框架：SteerQuant的整体架构包括量化误差映射、共享通道缩放和激活缩放三个主要模块。首先，映射每个流的量化误差对最终动作的影响；然后，根据映射结果调整共享通道的缩放；最后，在每个流和去噪步骤中校准激活缩放。
关键创新：SteerQuant的核心创新在于其引导量化误差的能力，使得量化过程能够根据不同流的特性进行动态调整。这与传统方法的静态量化策略形成鲜明对比。
关键设计：在设计中，SteerQuant采用了4位量化，并通过Rudder引擎将缩放和输出补偿融合到低位核中，以减少额外的内核启动和内存流量。此外，激活缩放的校准策略确保了在不同去噪步骤中激活范围的适应性。
🖼️ 关键图片
📊 实验亮点
在多个世界-动作模型上，SteerQuant在W4A8和W4A4配置下，保持了平均LIBERO成功率在全精度的0.8个百分点以内，同时在去噪速度上实现了高达2.23倍的加速。在真实双臂机器人上，W4A8的部署实现了1.35倍的端到端推理加速，且任务成功率与BF16相当。
🎯 应用场景
SteerQuant的研究成果在机器人控制、自动驾驶和智能监控等领域具有广泛的应用潜力。通过优化量化过程，该方法能够在保证控制精度的同时，显著提高推理速度和降低内存使用，为实时系统提供更高效的解决方案。未来，该技术有望推动更多智能系统的普及与应用。
📄 摘要（原文）
World-action models (WAMs) jointly generate future world states and actions through iterative denoising, using shared weights to process heterogeneous semantic streams of video, proprioceptive, and action tokens. Quantization reduces inference cost, but comparable numerical errors in different streams can have markedly different effects on final actions, making numerical accuracy alone insufficient for reliable control. We introduce SteerQuant, a 4-bit quantization framework for WAMs that steers errors toward computations with less influence on final actions. It maps how each stream's quantization errors affect final actions and uses this map to guide shared channel scaling. Activation scaling is further calibrated for each stream and denoising step to accommodate changes in activation ranges and action impact. This adapts quantization to different stream requirements without duplicating weights or increasing bit-widths for selected streams. To reduce the extra kernel launches and memory traffic introduced by scaling, we develop Rudder, a 4-bit inference engine for WAMs that fuses scaling and output compensation into low-bit kernels. Under W4A8 and W4A4, SteerQuant maintains mean LIBERO success within 0.8 percentage points of full precision, while delivering up to $2.23\times$ denoising speedup over BF16 across three WAMs with reduced peak GPU memory usage. On a real dual-arm robot, W4A8 deployment achieves a $1.35\times$ end-to-end inference speedup while maintaining average task success relative to BF16.