Sigma: The Key for Vision-Language-Action Models toward Telepathic Alignment

📄 arXiv: 2512.00783v2 📥 PDF

作者: Libo Wang

分类: cs.LG, cs.RO

发布日期: 2025-11-30 (更新: 2025-12-02)

备注: The Sigma model has been open-sourced on Hugging Face. Weights, dataset, some scripts, and logs are all available. The link is: https://huggingface.co/Veltraxor/Sigma

💡 一句话要点

Sigma：面向心电感应对齐的视觉-语言-动作模型，解决人型机器人认知系统语义鸿沟

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉语言动作模型 人型机器人 意图控制 语义对齐 深度学习 LoRA微调 机器人控制

📋 核心要点

  1. 现有机器人认知系统缺乏语义与连续控制之间可更新的中间层，导致难以实现高级意图驱动的控制。
  2. Sigma模型通过结合深度语义理解和关联的VLA架构，构建了语义与动作之间的桥梁，实现心电感应式的意图控制。
  3. 实验表明，Sigma在控制精度上优于基线模型，同时保持了语义对齐质量，验证了其在人型机器人意图控制方面的潜力。

📝 摘要（中文）

本研究旨在解决人型机器人认知系统中语义与连续控制之间缺乏时间可更新的中间思想空间的问题，构建并训练了一个名为“Sigma”的视觉-语言-动作（VLA）模型，该模型在单个RTX 4090上运行。它以开源pi05_base模型为基础，并将svla_so101_pickplace预处理为训练数据集。研究人员独立设计了一种VLA模型架构，该架构结合了深度语义理解和关联，以实现心电感应通信。训练过程涉及数据预处理、LoRA微调和推理阶段适配器的重复优化。实验采用离线闭环回放，在数据条件下将Sigma与未调整的纯pi05_base模型进行比较。结果表明，Sigma在向量、片段和整个轨迹时间尺度上表现出控制MSE的稳定下降，同时保持了心电感应规范和语义-文本对齐质量不变。它证明了通过结合深度语义理解和关联的架构，无需重新训练基础模型即可量化心智响应对齐控制，这为人型机器人中的语义对齐和意图驱动行为提供了可复现的经验。

🔬 方法详解

问题定义：论文旨在解决人型机器人认知系统中，语义理解（例如，自然语言指令）和连续动作控制之间的鸿沟。现有的方法通常难以在语义层面进行推理，并将高级指令转化为精确的机器人动作，缺乏一个能够动态更新并连接语义与动作的中间“思想空间”。

核心思路：论文的核心思路是构建一个视觉-语言-动作（VLA）模型，该模型能够理解语义指令，并将其转化为相应的机器人动作。通过深度语义理解和关联，模型能够建立语义和动作之间的映射关系，从而实现“心电感应”式的控制，即机器人能够根据人类的意图做出相应的动作。

技术框架：Sigma模型的整体架构包含以下几个主要模块：1) 视觉输入模块：用于处理来自摄像头的视觉信息。2) 语言输入模块：用于处理自然语言指令。3) 动作输出模块：用于生成机器人的控制指令。4) 核心的VLA模型：该模型负责将视觉和语言信息融合，并将其映射到动作空间。训练过程包括数据预处理、LoRA微调和推理阶段适配器优化。

关键创新：该论文的关键创新在于设计了一种能够实现心电感应式控制的VLA模型架构。该架构结合了深度语义理解和关联，能够在语义层面进行推理，并将高级指令转化为精确的机器人动作。此外，该方法无需重新训练基础模型，而是通过LoRA微调和推理阶段适配器来实现模型的优化，从而降低了训练成本。

关键设计：论文的关键设计包括：1) 数据预处理：将svla_so101_pickplace数据集进行预处理，以适应模型的输入格式。2) LoRA微调：使用LoRA（Low-Rank Adaptation）技术对预训练的pi05_base模型进行微调，以适应特定的任务。3) 推理阶段适配器：在推理阶段使用适配器来进一步优化模型的性能。4) 损失函数：使用控制MSE（Mean Squared Error）作为损失函数，以衡量模型的控制精度。

📊 实验亮点

实验结果表明，Sigma模型在控制MSE方面表现出稳定的下降，尤其是在向量、片段和整个轨迹时间尺度上。与未调整的纯pi05_base模型相比，Sigma模型在保持心电感应规范和语义-文本对齐质量不变的情况下，显著提高了控制精度。这些结果验证了Sigma模型在人型机器人意图控制方面的有效性。

🎯 应用场景

该研究成果可应用于各种人型机器人应用场景，例如家庭服务机器人、工业自动化机器人和医疗辅助机器人。通过实现心电感应式的意图控制，机器人能够更好地理解人类的意图，并执行相应的任务，从而提高人机交互的效率和安全性。未来，该技术有望推动机器人技术的进一步发展，并促进人与机器人之间的更紧密协作。

📄 摘要（原文）

To address the gap in humanoid robot cognitive systems regarding the lack of a time-updable mediating thought space between semantics and continuous control, this study constructs and trains a VLA model named "Sigma" that runs on a single RTX 4090. It uses the open-source pi05_base model as a foundation and preprocesses svla_so101_pickplace into a training dataset. The researcher independently designed an architecture for a vision-language-action model that combines deep semantic understanding and association to achieve telepathic communication. The training process involved repeated optimizations of data preprocessing, LoRA fine-tuning, and the inference-stage adapter. The experiment employed offline closed-loop replay, comparing Sigma with the untuned pure pi05_base model under data conditions. Results showed that Sigma exhibited a stable decrease in control MSE across vector, fragment, and entire trajectory timescales, while maintaining the telepathy norm and semantic-text alignment quality unchanged. It demonstrates that mind-responsive alignment control is quantified through an architecture that combines deep understanding of semantics and association without retraining the base model, which provides reproducible experience for semantic alignment and intention-driven behavior in humanoid robots.