Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

📄 arXiv: 2604.27667v1 📥 PDF

作者: Buqing Ou, Frederike Dümbgen

分类: cs.RO, cs.LG

发布日期: 2026-04-30

备注: 8 pages, 6 figures

💡 一句话要点

TFM-S3：利用表格基础模型引导机器人策略学习中的探索，提升样本效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人策略学习 强化学习 连续控制 表格基础模型 全局探索 样本效率 策略优化

📋 核心要点

  1. 机器人策略优化面临高维连续控制的挑战，现有方法或是局部性强，或是rollout成本高昂。
  2. TFM-S3 结合局部更新和全局搜索，利用表格基础模型预测回报，指导低维策略子空间优化。
  3. 实验表明，TFM-S3 在相同 rollout 预算下，加速收敛并提升性能，验证了基础模型的有效性。

📝 摘要（中文）

机器人高维连续控制中的策略优化仍然是一个具有挑战性的问题。主流方法本质上是局部的，通常需要大量的调优和精心选择的初始猜测才能获得良好的性能，而更全局化且对初始化不太敏感的搜索方法通常会产生较高的 rollout 成本。我们提出了 TFM-S3，一种表格混合局部-全局方法，用于在有限的 rollout 成本下改进机器人策略学习中的全局探索。我们交替进行高频局部更新和间歇性的全局搜索。在每个搜索轮次中，我们通过 SVD 构建一个动态更新的低维策略子空间，并在此空间内执行迭代的代理引导优化。一个预训练的表格基础模型从一个小型的上下文集合中预测候选回报，从而能够在有限的 rollout 成本下进行大规模筛选。在连续控制基准上的实验表明，在相同的 rollout 预算下，与 TD3 和基于种群的基线方法相比，TFM-S3 始终加速早期收敛并提高最终性能。这些结果表明，基础模型是创建用于机器人连续控制的样本高效策略学习方法的强大新工具。

🔬 方法详解

问题定义：机器人策略学习，特别是在高维连续控制任务中，面临着探索效率低下的问题。现有的策略优化方法，如TD3等，通常是局部搜索，对初始策略和超参数敏感，需要大量调优。而全局搜索方法虽然能避免陷入局部最优，但rollout成本过高，难以在实际机器人应用中部署。

核心思路：TFM-S3的核心思路是结合局部优化和全局探索的优势，通过表格基础模型来降低全局探索的rollout成本。具体来说，它在高频的局部策略更新中，穿插低频的全局搜索。全局搜索阶段，利用基础模型预测不同策略的回报，从而在少量真实rollout的情况下，筛选出有潜力的策略。

技术框架：TFM-S3的整体框架包含以下几个主要阶段：1. 局部策略更新：使用现有的策略梯度方法（如TD3）进行局部优化。2. 策略子空间构建：利用SVD对历史策略进行降维，构建一个低维的策略子空间。3. 全局搜索：在该子空间内，采样多个候选策略。4. 基础模型预测：利用预训练的表格基础模型预测每个候选策略的回报。5. 策略选择与rollout：选择基础模型预测回报最高的若干个策略，进行真实rollout。6. 策略更新：根据真实rollout的结果，更新策略和基础模型。

关键创新：TFM-S3的关键创新在于利用预训练的表格基础模型来指导全局搜索。传统方法需要大量的真实rollout才能评估策略的优劣，而TFM-S3通过基础模型预测，大大降低了rollout成本，从而能够在有限的预算下进行更广泛的探索。这使得TFM-S3能够在早期阶段快速找到有潜力的策略，加速收敛。

关键设计：TFM-S3的关键设计包括：1. 表格基础模型：使用预训练的表格基础模型，例如从其他任务或模拟环境中学习到的策略-回报映射。2. 策略子空间维度：通过实验确定合适的策略子空间维度，以平衡探索的广度和计算成本。3. rollout数量：根据预算，确定每次全局搜索中进行真实rollout的策略数量。4. SVD降维：使用SVD对历史策略进行降维，保留主要的策略变化方向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在连续控制基准任务上，TFM-S3 在相同的 rollout 预算下，与 TD3 和基于种群的基线方法相比，能够显著加速早期收敛并提高最终性能。具体而言，TFM-S3 在早期阶段的回报明显高于基线方法，并且最终能够达到更高的平均回报。

🎯 应用场景

TFM-S3 有潜力应用于各种机器人连续控制任务，尤其是在样本效率至关重要的场景，例如真实机器人环境中的学习。它可以加速新机器人的策略学习过程，降低训练成本，并提高策略的鲁棒性。此外，该方法也可以扩展到其他强化学习领域，例如游戏AI和自动驾驶。

📄 摘要（原文）

Policy optimization in high-dimensional continuous control for robotics remains a challenging problem. Predominant methods are inherently local and often require extensive tuning and carefully chosen initial guesses for good performance, whereas more global and less initialization-sensitive search methods typically incur high rollout costs. We propose TFM-S3, a tabular hybrid local-global method for improving global exploration in robot policy learning with limited rollout cost. We interleave high-frequency local updates with intermittent rounds of global search. In each search round, we construct a dynamically updated low-dimensional policy subspace via SVD and perform iterative surrogate-guided refinement within this space. A pretrained tabular foundation model predicts candidate returns from a small context set, enabling large-scale screening with limited rollout cost. Experiments on continuous control benchmarks show that TFM-S3 consistently accelerates early-stage convergence and improves final performance compared to TD3 and population-based baselines under an identical rollout budget. These results demonstrate that foundation models are a powerful new tool for creating sample-efficient policy learning methods for continuous control in robotics.