Text-to-3D Policy: Fine-Grained Language-Behavior Alignment for Unseen Specification Generalization

📄 arXiv: 2609.39599v1 📥 PDF

作者: Xinhao Yang, Wenhao Wu, Ning Lv, Yanshen Ding, Zhenhong Sun, Daoyi Dong, Chunlin Chen, Zhi Wang

分类: cs.RO, cs.AI

发布日期: 2026-09-30

备注: 24 pages, 8 figures, 8 table

💡 一句话要点

提出T3DP框架以解决文本到3D策略中的细粒度行为对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本到3D 细粒度对齐 行为规范 机器人操作 语言表示 3D策略 未见规范泛化

📋 核心要点

  1. 现有的文本到3D策略在处理未见的细粒度行为规范时存在困难，无法有效捕捉语言与行为之间的细微差异。
  2. 提出的T3DP框架通过保持局部结构，建立语言元素与行为段之间的双向对应关系，从而实现更精确的行为控制。
  3. 在Meta-World、ManiSkill和RoboTwin等多个任务上，T3DP的成功率提升了11.0-14.2个百分点，真实机器人任务的成功率从47.5%提升至65.0%。

📝 摘要（中文）

3D视觉运动策略为空间精确操作提供了坚实基础，但现有的文本到3D策略在处理未见的细粒度行为规范时表现不佳。本文将这一挑战定义为未见规范泛化，提出T3DP框架，通过保持局部结构并建立语言元素与行为段之间的双向标记级对应关系，解决了细粒度语言与行为对齐的问题。实验结果表明，T3DP在多个任务上显著提高了成功率，尤其是在真实机器人任务中，成功率从47.5%提升至65.0%。

🔬 方法详解

问题定义：本文解决的是文本到3D策略在未见细粒度行为规范下的泛化问题。现有方法往往依赖于全局行为-语言对齐，无法有效区分相似的行为规范，导致性能下降。

核心思路：T3DP框架的核心思路是保持语言指令和演示的局部结构，建立双向标记级对应关系，从而实现细粒度的语言与行为对齐。这种设计能够更好地捕捉语言中的细微变化与其对应的行为组件之间的关系。

技术框架：T3DP框架包括多个模块，首先是语言表示模块，利用预训练的语言模型提取语言特征；接着是行为表示模块，通过点云数据捕捉3D行为特征；最后是对齐模块，建立语言与行为之间的双向对应关系。

关键创新：T3DP的关键创新在于其细粒度的语言-行为对齐机制，避免了传统方法中相似规范的模糊化，确保了每个语言指令都能精确对应到特定的行为段。

关键设计：在参数设置上，T3DP采用了特定的损失函数来优化语言与行为之间的对齐度，同时在网络结构上引入了局部结构保持机制，以增强模型对细微变化的敏感性。具体的网络架构和训练细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，T3DP在Meta-World、ManiSkill和RoboTwin等任务上，相较于传统的全局行为-语言对齐方法，成功率提升了11.0-14.2个百分点。在真实机器人任务中，成功率从47.5%显著提升至65.0%，展现了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和虚拟现实等场景。通过实现更精确的行为控制，T3DP可以提升机器人在复杂环境中的操作能力，促进人机协作的效率和安全性。未来，该框架有望在更多实际应用中发挥重要作用，推动智能机器人技术的发展。

📄 摘要（原文）

3D visuomotor policies provide a strong foundation for spatially precise manipulation, yet current text-to-3D policies struggle to follow unseen fine-grained behavioral specifications beyond those covered by demonstrations. We study this challenge as unseen specification generalization, where language specifies behaviorally significant variations, such as target position, displacement, or articulated state, that are absent from policy training. We find that pretrained language representations and conventional global behavior-language alignment capture coarse task semantics but often blur nearby specifications that require distinct behaviors. We introduce T3DP, a Text-to-3D Policy framework for fine-grained language-behavior alignment. Rather than compressing each instruction and demonstration into a single global embedding, T3DP preserves their local structures and establishes bidirectional token-level correspondence between linguistic elements and behavioral segments. This directly grounds subtle linguistic variations in the behavior components they affect, preventing closely related specifications from collapsing in the representation space. The resulting specification-sensitive language representation conditions a point-cloud-based 3D diffusion policy, enabling more precise control over unseen behavioral specifications without modifying the underlying policy architecture. Across Meta-World, ManiSkill, and RoboTwin, T3DP improves average held-out-specification success over global language-behavior alignment by +11.0-14.2 points, with gains on all 15 task families; on real-robot tasks, it further raises average success from 47.5% to 65.0% (+17.5 points). Representation and action-probe analyses show that fine-grained alignment better preserves specification geometry and action-relevant variation, linking local behavior grounding to downstream control.