Twins: Learn to Predict Unified Representations with Focal Loss

📄 arXiv: 2607.22531v1 📥 PDF

作者: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

分类: cs.CV

发布日期: 2026-07-24

备注: ICML 2026. Code: https://github.com/Tencent-Hunyuan/Twins

💡 一句话要点

提出Twins模型以解决多模态统一表示优化不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 统一表示 图像生成 优化不平衡 聚焦回归 ViT VAE Diffusion Transformer

📋 核心要点

  1. 现有的多模态模型在理解和生成任务中存在潜在空间不匹配的问题，导致优化不平衡。
  2. 本文提出Twins模型，通过通道级连接ViT和VAE特征，形成统一的连续标记空间，解决了潜在空间不匹配的问题。
  3. 在ImageNet上，Twins模型相比于传统的MSE损失提升了10.57 gFID，并在多模态理解任务中表现优异。

📝 摘要（中文）

统一多模态模型旨在支持多模态理解和图像生成，通过共享视觉标记空间实现。现有离散方法使用共享代码本，而连续管道则依赖于语义特征和低级潜变量，导致潜在空间不匹配。本文提出Twins模型，通过在同一标记网格上通道级连接ViT和VAE特征，形成统一的连续标记空间。为了解决在Diffusion Transformer中出现的优化不平衡问题，论文采用了聚焦回归目标，增强了大误差VAE维度的权重，从而更好地平衡ViT和VAE组件的优化。在ImageNet上，该方法相比于简单的MSE损失提升了10.57 gFID，并在多模态理解基准上表现出色，改善了重建保真度。

🔬 方法详解

问题定义：本文旨在解决现有多模态模型在理解和生成任务中潜在空间不匹配的问题，导致模型在优化时出现不平衡现象。

核心思路：论文提出Twins模型，通过在同一标记网格上通道级连接ViT和VAE特征，形成一个统一的连续标记空间，从而避免了潜在空间的不匹配。

技术框架：Twins模型的整体架构包括ViT和VAE两个主要模块，采用Diffusion Transformer进行联合建模，同时引入聚焦回归目标以平衡优化。

关键创新：最重要的创新在于提出了聚焦回归目标，该目标通过增强大误差VAE维度的权重，解决了ViT和VAE组件之间的优化不平衡问题。

关键设计：在模型设计中，采用了通道级连接的方式，保持序列长度不变，且注意力计算成本不增加，同时在损失函数中引入了聚焦回归目标以改善优化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Twins模型在ImageNet上实现了10.57 gFID的提升，相比于传统的MSE损失表现出显著的优化效果。此外，Twins在多模态理解基准上也展现了竞争力，改善了重建保真度，缩小了理解与生成表示之间的差距。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像理解与生成、自动驾驶中的多模态感知、以及虚拟现实中的场景重建等。Twins模型的设计能够有效提升多模态任务的性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Unified multimodal models seek a shared visual token space that supports both multimodal understanding and image generation. Discrete methods unify the interface via a shared codebook, whereas continuous pipelines often rely on two disparate representations -- semantic features (e.g., ViT) for understanding and low-level latents (e.g., VAE) for synthesis -- resulting in mismatched latent spaces. We propose Twins, a unified continuous token space formed by channel-wise concatenating ViT and VAE features on the same token grid, so the sequence length is unchanged and attention cost does not increase. However, jointly modeling Twins in a Diffusion Transformer exposes a severe optimization imbalance: the model fits the ViT component well but struggles to match the VAE latent distribution. We trace this imbalance to three sources of heterogeneity: frequency bias, intrinsic dimensionality, and condition-aligned vs condition-independent uncertainty. To address it, we adapt a focal regression objective for flow matching that upweights large-error VAE dimensions, better balancing optimization across the ViT and VAE components. On ImageNet, this yields up to 10.57 gFID gain over naive MSE loss without classifier-free guidance. Twins also performs competitively on multimodal understanding benchmarks and improves reconstruction fidelity, narrowing the gap between understanding- and generation-oriented representations.