From Language to Motion: Task-Conditioned Focal-Stack Trajectory Integration for Microscopic Robots
作者: Junjie Xie, Chuxuan He, Junkai Huang, Heng Zhang, Angen Ye, Yujia Song, Yuqing Li, Pengsong Zhang, Dapeng Zhang
分类: cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出语义到物理的框架以解决微型机器人任务几何问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 微型机器人 任务几何 语义映射 动态规划 轨迹集成 开放词汇感知 多视角几何
📋 核心要点
- 现有方法在处理微型机器人任务时，面临语言、部件和焦点变化带来的几何准确性挑战。
- 论文提出的框架通过语义映射和动态规划，集成了局部可靠的轨迹，提升了任务执行的几何精度。
- 实验结果表明，轨迹空间集成将RMSE从14.41降低至6.28像素，目标区域覆盖率提升至92.9%。
📝 摘要（中文）
微型机器人在执行任务时需要准确的几何信息，尽管语言、部件和焦点可能发生变化。本文提出了一种语义到物理的框架，将指令映射到受限的几何操作，重用冻结的开放词汇感知，并通过置信加权和动态规划集成局部可靠的焦平面轨迹。经过标定的多视角几何将二维路径连接到物理执行。实验结果显示，相较于特定部件的U-Net训练，提出的零新标签配置在时间上显著缩短，RMSE和P95误差均有显著降低，目标区域覆盖率也得到了提升。
🔬 方法详解
问题定义：本文旨在解决微型机器人在执行任务时，由于语言、部件和焦点变化导致的几何准确性不足的问题。现有方法在处理这些变化时，往往无法保持高精度的几何执行。
核心思路：论文提出了一种语义到物理的框架，通过将指令映射到几何操作，结合动态规划和置信加权，来集成局部可靠的轨迹。这种设计旨在提高微型机器人在多变环境中的任务执行精度。
技术框架：整体架构包括三个主要模块：语义映射模块、轨迹集成模块和物理执行模块。语义映射模块负责将语言指令转化为几何操作，轨迹集成模块通过动态规划优化轨迹，物理执行模块则将优化后的轨迹应用于机器人。
关键创新：最重要的技术创新在于提出了零新标签配置，显著减少了训练时间，同时通过轨迹空间集成显著降低了执行误差。这与传统的部件特定训练方法形成鲜明对比。
关键设计：在模型设计中，采用了置信加权机制来评估轨迹的可靠性，并使用动态规划算法优化路径选择。损失函数设计上，重点考虑了几何误差和执行效率的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，轨迹空间集成将RMSE从14.41降低至6.28像素，P95误差从20.07降低至8.13像素，分别提升了56.4%和59.5%。目标区域覆盖率从83.5%提升至92.9%，展现了显著的性能改进。
🎯 应用场景
该研究的潜在应用领域包括微型机器人在医疗、制造和环境监测等场景中的自动化任务执行。通过提高任务几何的准确性，微型机器人可以更有效地完成复杂操作，未来可能在精准医疗和智能制造中发挥重要作用。
📄 摘要（原文）
Microscopic robots require accurate task geometry despite changes in language, parts, and focus. We present a semantic-to-physical framework that maps instructions to constrained geometric operators, reuses frozen open-vocabulary perception, and integrates locally reliable focal-plane trajectories by confidence weighting and dynamic programming. Calibrated multi-view geometry connects 2-D paths to physical execution. Prompt, unseen-part, and geometry reconfiguration tests yield 6.30-6.59-pixel RMSE. Relative to part-specific U-Net training with 20-100 labels, the proposed zero-new-label configuration takes 15 rather than 72-165 min. Across nine part-illumination conditions, trajectory-space integration reduces RMSE from 14.41 to 6.28 pixels (56.4%) and P95 error from 20.07 to 8.13 pixels (59.5%) compared with image-first multi-focus fusion. An ablation isolates the roles of confidence and path-wise selection. In representative robot experiments, target-region coverage improves from 83.5% to 92.9%. Dispensing provides a measurable physical trace, not a task-specific limitation of the method.