When Do Discrete Actions Make Good Continuous Controllers?
作者: Zeji Yi, Soham Dasgupta, Xinyang Zhang, Koushil Sreenath, Guannan Qu, Xi Chen, Max Simchowitz, Guanya Shi
分类: cs.RO
发布日期: 2026-10-14
备注: 53 pages (12 main text), 19 figures, 12 tables. Project page: https://iscoyizj.github.io/discrete-action-website/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出离散动作预测作为连续控制的有效替代方案
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 离散动作预测 连续控制 机器人技术 任务成功率 因子化误差 多步流 干预措施
📋 核心要点
- 现有机器人控制方法普遍采用连续动作表示，缺乏对离散动作预测有效性的深入研究。
- 论文通过比较离散与连续策略的单步和多步流，提出离散动作预测在某些情况下可以优于连续策略。
- 实验结果显示，离散动作预测在任务成功率上表现出色，甚至在简单量化情况下也能超越连续策略。
📝 摘要（中文）
尽管现代AI模型如大型语言模型（LLMs）预测离散标记，当前的机器人基础模型却将动作表示为连续向量。本文质疑这一共识，探讨连续动作参数化是否优于离散对应物。通过对单步回归和多步流变体的广泛比较，发现即使是最简单的均匀箱量化，离散动作预测在任务成功率上也能与连续动作策略相匹敌，甚至超越。此外，离散动作策略的挑战并非动作精度，而是时间和动作维度间的因子化误差。通过适当的干预，离散流策略能够将这一弱点转化为优势，从而在预测的动作块中实现更灵活的动作变化。最后，尝试将几何信息显式注入离散策略的做法并未带来一致的改进。我们的发现质疑了机器人动作预测需要与其他AI领域不同设计决策的假设，并激励了离散动作预测作为当前连续动作参数化的有力替代的可能性。
🔬 方法详解
问题定义：本文旨在探讨离散动作预测是否能在机器人控制中替代传统的连续动作表示，现有方法在处理复杂任务时面临精度和灵活性不足的问题。
核心思路：通过对离散和连续策略的广泛比较，论文提出离散动作预测在某些情况下能够提供更高的任务成功率，尤其是在适当的干预下。
技术框架：研究采用了单步回归和多步流的实验设计，分别在模拟环境和真实硬件上进行评估，比较不同策略的表现。
关键创新：论文的主要创新在于揭示了离散动作预测的潜力，尤其是在面对因子化误差时，通过迭代计算和无分类器引导的分布锐化，离散策略能够实现更灵活的动作调整。
关键设计：在实验中，采用了均匀箱量化的简单离散策略，并通过多种干预措施优化其性能，具体参数设置和损失函数设计未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果表明，离散动作预测在任务成功率上能够与连续策略相媲美，甚至在某些情况下超越，尤其是在使用简单的均匀箱量化时，离散策略的表现令人惊讶。这一发现挑战了传统的连续动作控制观念。
🎯 应用场景
该研究为机器人控制领域提供了新的视角，离散动作预测的有效性可能在多种应用场景中展现出优势，如自动驾驶、工业机器人和人机交互等。未来，离散策略的进一步发展可能推动更高效的控制系统设计。
📄 摘要（原文）
Though modern AI models like LLMs predict discrete tokens, today's robotic foundation models represent actions as continuous vectors. In this paper, we challenge this common consensus by asking if continuous action parametrizations are superior to their discrete counterparts. We conduct an extensive comparison of single-step regression and multi-step flow variants of both continuous and discrete policies in both from-scratch single-task and multi-task VLA training, in both simulation and on real hardware. In all regimes, we find that discrete action prediction, even the most naive, uniform-bin quantization, can match or even outperform continuous-action policies in task success rate. Moreover, we find that the challenge to discrete action policies is \emph{not} action precision, but rather factorization error introduced by product-distribution predictions across time and action dimensions. We show that, when paired with the correct interventions---iterative computation through discrete flows, or distribution sharpening through classifier-free guidance---discrete flow policies can turn this weakness into a strength, enabling more responsive action changes during a predicted action chunk. Lastly, we show that attempts to explicitly inject geometric information into discrete policies, e.g. through corruption processes that emulate continuous flow matching, do \emph{not} yield consistent improvements. Taken together, our findings question existing assumptions that robotic action prediction requires distinct design decisions compared to other AI domains, and motivates the possibility of discrete action prediction as a compelling alternative to today's continuous action parametrizations. Link for the webpage \href{https://iscoyizj.github.io/discrete-action-website/}{https://iscoyizj.github.io/discrete-action-website/}