CIIR - Class-Indexed Interface Representation Learning

📄 arXiv: 2610.23151v1 📥 PDF

作者: Doo Yon Kim, Christian Wallraven

分类: cs.AI, cs.LG

发布日期: 2026-10-16

备注: 17 pages, 6 figures

💡 一句话要点

提出CIIR以解决多模态数据集无对应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 类索引 模块化框架 地址空间 无监督学习 数据集扩展

📋 核心要点

  1. 现有多模态学习方法通常依赖于成对或同步的数据集，而独立收集的数据集缺乏这种对应性，导致学习效果受限。
  2. CIIR提出了一种模块化的编码-解码框架，通过类索引地址空间连接异构数据集，保留各自的输入格式和输出模块。
  3. 实验结果表明，CIIR在无标签条件下实现了94.7%的地址实现准确率，并在数据集间转移中表现出色，验证了其有效性。

📝 摘要（中文）

多模态学习通常假设观察数据是成对或同步的，但独立收集的数据集往往缺乏这种对应关系。我们提出了CIIR，一个模块化的编码-解码框架，通过类索引地址空间连接异构数据集，同时保留每个数据集的原生输入格式和输出模块。通过手写数字、服装图像、语音数字频谱图和手势等数据集，我们展示了CIIR的有效性。新训练的无标签接收器以94.7%的宏平均地址实现准确率恢复请求的地址。随后，我们在冻结基础地址空间后附加了未见的SVHN数据集，仅训练轻量适配器，实现了90.2%的MNIST>SVHN和82.3%的SVHN>MNIST端到端地址转移准确率。CIIR的通用性通过在CIFAR-100类中重用十个地址作为代码元素进行无碰撞算术和层次地址编码得以验证。

🔬 方法详解

问题定义：本论文旨在解决多模态学习中缺乏对应关系的问题，现有方法通常依赖于成对或同步的数据集，限制了其应用范围。

核心思路：CIIR通过引入类索引地址空间的概念，连接异构数据集，允许在没有同步样本的情况下进行有效学习，保留各数据集的原生格式。

技术框架：CIIR的整体架构包括一个模块化的编码器和解码器，使用已知的局部索引选择地址k，并将输入依赖的128维地址表示Z_k(x)写入该地址。

关键创新：CIIR的主要创新在于其类索引地址空间的设计，使得不同数据集之间的通信变得紧凑且高效，避免了传统方法的繁琐配对需求。

关键设计：在实现中，使用了128维的地址表示，并设计了轻量级适配器以便在冻结基础地址空间的情况下进行新数据集的附加训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CIIR在实验中实现了94.7%的宏平均地址实现准确率，并在MNIST与SVHN数据集间的转移中分别达到了90.2%和82.3%的准确率，显示出其在无标签条件下的强大能力和高效性。

🎯 应用场景

CIIR的研究成果在多个领域具有潜在应用价值，包括跨模态检索、数据集扩展和无监督学习等。其模块化设计使得在不同数据集间的有效通信成为可能，未来可推动多模态学习的进一步发展。

📄 摘要（原文）

Multimodal learning commonly assumes paired or synchronized observations, yet independently collected datasets rarely provide such correspondence. We introduce CIIR, a modular encoder--decoder framework that connects heterogeneous datasets through a class-indexed address space while preserving each dataset's native input format and output module. A known local index selects address $k$, and an input-dependent 128-dimensional address representation Z_k(x) is written to that address. To demonstrate CIIR, we learn this address space from handwritten digits, clothing images, spoken-digit spectrograms, and hand signs without synchronized or instance-matched samples. Newly trained label-free receivers recover the requested addresses with 94.7% macro-average Address Realization Accuracy. We then attach the unseen SVHN dataset after freezing the base address space and train only lightweight adapters, achieving 90.2% MNIST>SVHN and 82.3% SVHN>MNIST end-to-end Address Transfer Accuracy without target-side decoder labels. To demonstrate generalizability of CIIR, we reuse the ten addresses as code elements in collision-free arithmetic and hierarchical address codes for all 100 CIFAR-100 classes and evaluate direct arithmetic-code realization through the existing receivers. These results establish CIIR as a compact interface for modular cross-dataset communication and post-hoc dataset attachment without exhaustive paired multimodal supervision.