SPECTRA-VLA: Base-Fine Hyperspectral Token Transfer at Frozen Vision-Language-Action Interfaces

📄 arXiv: 2610.19651v1 📥 PDF

作者: Chih-Chung Hsu

分类: cs.CV

发布日期: 2026-10-14

备注: 34 pages: 11-page main paper and 23-page supplementary material

💡 一句话要点

提出SPECTRA-VLA以解决高光谱成像中的分类精度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱成像 视觉-语言-动作模型 模型优化 分类精度 光谱丰富化

📋 核心要点

  1. 现有的高光谱成像方法在处理RGB相似物体时面临分类精度不足的挑战，尤其是在使用预训练模型时。
  2. SPECTRA-VLA通过提供原生宽度的光谱升级，允许在不重新训练的情况下增强目标标记的表示能力。
  3. 实验结果显示，使用SPECTRA-VLA后，类别平衡准确率从0.812提升至0.883，显著提高了模型的识别性能。

📝 摘要（中文）

高光谱成像能够区分RGB相似的物体，但预训练的视觉-语言-动作模型需要一个其冻结解码器可以使用的状态。SPECTRA-VLA提供了一种原生宽度的光谱升级，而无需重新训练视觉编码器或动作解码器。通过学习的连续残差，增强每个目标标记，通过其自身的归一化伪彩色参考进行调节；投影、规范控制和验证校准注入则调节变化。在86个保留采集样本中，类别平衡准确率从0.812提升至0.883。使用相同的残差和比例，目标标记的添加改善了在冻结解码器逻辑上的外部类别派生探针的重用：0.701对比0.590，且在相似的图像不重叠识别中。五组测试覆盖相同的86个采集样本，从连续和后验编码状态中恢复类别内光谱形状，$R^2=0.802/0.337$。类别匹配的光谱交换进一步表明，目标标记组合在冻结解码后大约使目标特定恢复增量翻倍。因此，光谱丰富和接收标记的保留在预训练接口中协同工作。

🔬 方法详解

问题定义：本论文旨在解决高光谱成像中，预训练视觉-语言-动作模型在处理RGB相似物体时的分类精度不足问题。现有方法通常需要重新训练模型，导致效率低下。

核心思路：SPECTRA-VLA的核心思路是通过引入一种原生宽度的光谱升级机制，利用学习的连续残差来增强每个目标标记的表示，而无需对视觉编码器或动作解码器进行重新训练。

技术框架：该方法的整体架构包括三个主要模块：首先是通过归一化伪彩色参考进行目标标记的增强；其次是通过投影和规范控制来调节光谱变化；最后是通过验证校准注入来确保模型的稳定性和准确性。

关键创新：SPECTRA-VLA的主要创新在于其能够在冻结的视觉-语言-动作接口上实现光谱丰富化和目标标记保留的协同工作，这与现有方法的重训练策略形成了鲜明对比。

关键设计：在设计中，使用了学习的连续残差作为增强机制，并通过精确的参数设置和损失函数来优化模型性能，确保在不同类别间的光谱形状恢复效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，SPECTRA-VLA在86个保留采集样本中的类别平衡准确率从0.812提升至0.883，显示出显著的性能提升。此外，目标标记的添加使得外部类别派生探针的重用效率提高，逻辑输出从0.590提升至0.701，进一步验证了该方法的有效性。

🎯 应用场景

该研究在高光谱成像领域具有广泛的应用潜力，特别是在农业监测、环境监测和医学成像等领域。通过提高分类精度，SPECTRA-VLA能够帮助研究人员更准确地识别和分析复杂场景中的物体，推动相关领域的技术进步。

📄 摘要（原文）

Hyperspectral imaging distinguishes RGB-similar objects, but a pretrained vision-language-action model needs a state its frozen decoder can use. SPECTRA-VLA provides a native-width spectral upgrade without retraining the visual encoder or action decoder. A learned continuous residual enriches each target token through its own normalized false-color reference; projection, norm control and validation-calibrated injection regulate the change. Across 86 held-out acquisitions, category balanced accuracy rises from 0.812 to 0.883. With identical residuals and scale, own-token addition improves reuse of an external category-derived probe on frozen decoder logits: 0.701 versus 0.590 with pooled replacement, at similar image-disjoint recognition. Five grouped tests covering the same 86 acquisitions recover within-category spectral shape with $R^2=0.802/0.337$ from continuous and posterior-code states. Category-matched spectral swaps further show that own-token composition approximately doubles the target-specific recovery increment after frozen decoding. Spectral enrichment and receiving-token preservation thus work together at the pretrained interface.