Teaching Metric Distance to Discrete Autoregressive Language Models

📄 arXiv: 2503.02379v4 📥 PDF

作者: Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

分类: cs.LG, cs.CV

发布日期: 2025-03-04 (更新: 2025-10-07)

💡 一句话要点

提出DIST2Loss，利用token间距离关系训练离散自回归语言模型，提升多模态任务性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归语言模型 距离度量学习 多模态学习 机器人操作 视觉定位

📋 核心要点

  1. 现有大型语言模型在处理非语言领域时，缺乏对token间度量关系的有效建模。
  2. DIST2Loss将token间的距离信息融入训练目标，使模型能够学习并保持token间的距离关系。
  3. 实验表明，DIST2Loss在视觉定位、机器人操作等多种多模态任务上均有提升，尤其在低数据场景下。

📝 摘要（中文）

随着大型语言模型从自然语言扩展到数学、多模态理解和具身智能等领域，token越来越多地反映度量关系，而不仅仅是语言意义。我们引入了DIST2Loss，这是一个距离感知框架，旨在通过利用输出token之间预定义的距离关系来训练自回归离散模型。DIST2Loss的核心是将源自固有距离度量的连续指数族分布转换为与模型架构兼容的离散分类优化目标。这种方法使模型能够在token生成过程中学习和保持有意义的距离关系，同时保持与现有架构的兼容性。经验评估表明，在各种多模态应用中，包括视觉定位、机器人操作、生成奖励建模和使用向量量化特征的图像生成，都获得了持续的性能提升。这些改进在低数据状态下最为显著，证明了DIST2Loss在资源约束下的优势。

🔬 方法详解

问题定义：论文旨在解决离散自回归语言模型在处理具有度量关系的token序列时，无法有效利用token间距离信息的问题。现有方法通常将token视为独立的类别，忽略了它们之间的相似性和差异性，导致模型在需要理解和生成具有度量意义的序列时表现不佳。例如，在机器人控制中，不同的动作指令之间存在一定的距离关系，直接将这些指令视为独立的类别进行训练，会损失重要的信息。

核心思路：论文的核心思路是将token间的距离信息融入到模型的训练过程中。具体来说，就是将预定义的token间距离关系转化为连续的指数族分布，然后将这些连续分布转化为离散的分类优化目标，从而指导模型的训练。这样，模型在学习生成token序列的同时，也能学习到token之间的距离关系，从而更好地理解和生成具有度量意义的序列。

技术框架：DIST2Loss框架主要包含以下几个步骤：1) 定义token之间的距离度量；2) 基于距离度量构建连续的指数族分布；3) 将连续分布转化为离散的分类优化目标；4) 使用离散优化目标训练自回归语言模型。整个框架可以无缝集成到现有的自回归语言模型架构中，无需修改模型结构。

关键创新：DIST2Loss的关键创新在于将连续的距离信息转化为离散的优化目标，从而使得自回归语言模型能够学习到token之间的度量关系。与现有方法相比，DIST2Loss不需要修改模型结构，可以方便地应用于各种自回归语言模型。此外，DIST2Loss能够有效地利用token间的距离信息，从而提升模型在需要理解和生成具有度量意义的序列时的性能。

关键设计：DIST2Loss的关键设计包括：1) 如何定义token之间的距离度量。论文中使用了多种距离度量方式，例如欧氏距离、余弦相似度等。2) 如何将连续的指数族分布转化为离散的分类优化目标。论文中使用了softmax函数将连续分布转化为离散概率分布。3) 如何将DIST2Loss集成到现有的自回归语言模型中。论文中将DIST2Loss作为额外的损失函数添加到模型的训练过程中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIST2Loss在各种多模态应用中都获得了持续的性能提升。例如，在视觉定位任务中，DIST2Loss将模型的准确率提高了5%以上。在机器人操作任务中，DIST2Loss使得模型生成的动作序列更加流畅和自然。此外，DIST2Loss在低数据状态下表现出色，证明了其在资源约束下的优势。

🎯 应用场景

DIST2Loss具有广泛的应用前景，可应用于视觉定位、机器人操作、生成奖励建模和图像生成等领域。通过学习token间的距离关系，模型可以更好地理解和生成具有度量意义的序列，从而提升在这些领域的性能。例如，在机器人操作中，模型可以学习不同动作指令之间的距离关系，从而生成更加流畅和自然的动作序列。在图像生成中，模型可以学习不同视觉特征之间的距离关系，从而生成更加逼真的图像。

📄 摘要（原文）

As large language models expand beyond natural language to domains such as mathematics, multimodal understanding, and embodied agents, tokens increasingly reflect metric relationships rather than purely linguistic meaning. We introduce DIST2Loss, a distance-aware framework designed to train autoregressive discrete models by leveraging predefined distance relationships among output tokens. At its core, DIST2Loss transforms continuous exponential family distributions derived from inherent distance metrics into discrete, categorical optimization targets compatible with the models' architectures. This approach enables the models to learn and preserve meaningful distance relationships during token generation while maintaining compatibility with existing architectures. Empirical evaluations show consistent performance gains in diverse multimodal applications, including visual grounding, robotic manipulation, generative reward modeling, and image generation using vector-quantized features. These improvements are most notable in low-data regimes, demonstrating DIST2Loss's strength under resource constraints.