TLC-DiT: Task-Aligned Local Visual Conditioning for Robust Multitask Robot Manipulation

📄 arXiv: 2609.34297v1 📥 PDF

作者: Xianbo Cai, Hideyuki Ichiwara, Zihang Wang, Yijun Lu, Tetsuya Ogata

分类: cs.RO

发布日期: 2026-09-28

备注: 6 pages, 5 figures

💡 一句话要点

提出TLC-DiT以解决多任务机器人操作中的视觉信息不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务操作 机器人策略 视觉条件 局部特征 可解释性 鲁棒性 深度学习

📋 核心要点

  1. 现有的多任务机器人操作方法在处理视觉变化时表现脆弱，缺乏显式的任务对齐局部视觉通道，导致策略难以检查。
  2. TLC-DiT通过在Multitask DiT的基础上，添加显式的任务引导局部视觉特征图，增强了视觉信息的可解释性和鲁棒性。
  3. 在LIBERO数据集上，TLC-DiT的成功率显著提高，且在真实世界的双手任务中表现出色，展示了其实际应用潜力。

📝 摘要（中文）

语言条件的机器人策略在多任务操作中取得了显著进展，但任务相关的局部视觉证据通常隐藏在视觉骨干或注意力层中。这使得策略难以检查，并且在视觉变化下表现脆弱。本文提出了TLC-DiT，这是Multitask Diffusion Transformer (DiT) 策略的一个插件扩展，增加了显式的任务引导局部视觉特征图，而不改变扩散目标或动作生成过程。在LIBERO数据集上，TLC-DiT的平均成功率达到93.5%，相比之下，Multitask DiT为86.5%，SmolVLA为79.25%。在真实的双手任务中，TLC-DiT将Teabag Putting的完成率从44%提高到89%。

🔬 方法详解

问题定义：本文旨在解决现有多任务机器人操作中局部视觉信息不足的问题，现有方法在视觉变化下表现脆弱，难以进行有效的策略检查。

核心思路：TLC-DiT通过引入显式的任务引导局部视觉特征图，增强了机器人策略对局部视觉信息的利用，从而提高了操作的鲁棒性和可解释性。

技术框架：TLC-DiT在Multitask DiT的基础上，利用冻结的DINOv2特征，通过FiLM模块与CLIP任务嵌入进行调制，并通过轻量级的CoordConv CNN适配器进行平滑空间图的细化，最终与原始的全局图像、语言、关节状态和时间步条件进行拼接。

关键创新：TLC-DiT的主要创新在于引入了显式的任务引导局部视觉特征图，这与现有方法的隐式特征提取方式形成了鲜明对比，使得模型能够更好地关注任务相关区域。

关键设计：在设计中，使用了DINOv2的冻结特征，结合FiLM和CoordConv CNN的模块，确保了局部特征的有效调制和细化，同时保持了原有的扩散目标和动作生成过程不变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO数据集上，TLC-DiT的平均成功率达93.5%，显著高于Multitask DiT的86.5%和SmolVLA的79.25%。在真实的双手任务中，Teabag Putting的完成率从44%提升至89%，展示了其在视觉变化下的鲁棒性和有效性。

🎯 应用场景

TLC-DiT的研究成果在多任务机器人操作中具有广泛的应用潜力，尤其是在需要高鲁棒性和可解释性的场景，如家庭服务机器人、工业自动化和医疗辅助机器人等。未来，该方法可以进一步扩展到更复杂的任务和环境中，提升机器人在动态场景下的适应能力。

📄 摘要（原文）

Language-conditioned robot policies have made clear progress in multitask manipulation, but task-relevant local visual evidence usually stays hidden inside a visual backbone or attention layers. This leaves the policy difficult to inspect and fragile under visual change, two symptoms of a missing explicit, task-aligned local visual channel. We present TLC-DiT, a plug-in extension of the Multitask Diffusion Transformer (DiT) policy that adds explicit task-guided local visual feature maps without changing the diffusion objective or the action-generation process. For each camera view, frozen DINOv2 patch features are modulated by the CLIP task embedding through FiLM and refined by a lightweight CoordConv CNN adapter into smooth spatial maps, which are concatenated with the original global image, language, joint-state, and timestep conditions. On LIBERO, TLC-DiT reaches a 93.5% average success rate, compared with 86.5% for Multitask DiT and 79.25% for SmolVLA. On LIBERO-plus, the total success rate improves from 54.07% to 57.24%, with larger gains under camera, background, and sensor-noise changes. In real-world bimanual tasks, TLC-DiT raises Teabag Putting completion from 44% to 89% while maintaining comparable Match Box Opening performance. Feature-map visualizations confirm that the model attends to task-relevant regions across views and perturbations, providing a direct way to inspect the visual evidence.