Set2Seq Transformer: Temporal and Positional-Aware Set Representations for Sequential Multiple-Instance Learning
作者: Athanasios Efthymiou, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring
分类: cs.CV, cs.LG
发布日期: 2024-08-06 (更新: 2025-04-23)
💡 一句话要点
提出Set2Seq Transformer，用于序列多示例学习中的时序和位置感知集合表示。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 序列多示例学习 集合表示学习 Transformer 时间依赖性 位置编码
📋 核心要点
- 现有序列多示例学习方法难以同时建模集合内部结构和集合间的时间关系，限制了对复杂模式的捕捉。
- Set2Seq Transformer通过学习集合的时序和位置感知表示，联合建模排列不变的集合结构和时间依赖关系。
- 实验表明，Set2Seq Transformer在美术分析和野火危险预测等任务上显著优于传统方法。
📝 摘要（中文）
本文提出了一种名为Set2Seq Transformer的新型架构，用于解决序列多示例学习问题。该方法旨在联合建模排列不变的集合结构和时间依赖关系，通过端到端的多模态方式学习序列中集合的时序和位置感知表示。现有方法要么侧重于静态层面的集合表示学习，忽略了时间动态性，要么将序列视为单个元素的有序列表，缺乏显式的集合表示机制。本文在两个任务上评估了Set2Seq Transformer，这两个任务都需要建模集合结构以及时序和位置模式，但在领域、模态和目标上差异很大。第一个任务是美术分析，使用新的数据集WikiArt-Seq2Rank建模艺术家的作品以预测艺术成就。第二个任务是将Set2Seq Transformer用于短期野火危险预测。通过大量实验表明，Set2Seq Transformer通过有效地学习跨不同领域、模态和任务的排列不变集合、时序和位置感知表示，显著优于传统的静态多示例学习方法。数据集和模型实现将在GitHub上发布。
🔬 方法详解
问题定义：序列多示例学习旨在学习离散时间步上分布的集合的表示。现有方法要么只关注静态集合表示，忽略时间动态性；要么将序列视为元素的有序列表，缺乏显式集合表示能力。这导致无法有效建模集合内部结构以及集合之间的时间依赖关系，限制了在复杂场景下的应用。
核心思路：Set2Seq Transformer的核心思路是同时建模集合的排列不变性以及序列的时间依赖性。通过引入时序和位置感知的集合表示，模型能够理解集合内部的结构以及集合在序列中的相对位置和时间关系。这种联合建模的方式使得模型能够更好地捕捉序列多示例数据中的复杂模式。
技术框架：Set2Seq Transformer的整体架构基于Transformer模型。它首先对每个时间步的集合进行编码，生成集合的嵌入表示。然后，将这些集合嵌入输入到Transformer编码器中，以学习集合之间的时间依赖关系。为了引入时序和位置信息，模型使用了可学习的位置嵌入，这些嵌入被添加到集合嵌入中。整个过程以端到端的方式进行训练。
关键创新：Set2Seq Transformer的关键创新在于它能够同时学习排列不变的集合表示和时序/位置感知的序列表示。传统的Transformer模型主要处理序列数据，而Set2Seq Transformer通过特定的设计，使其能够处理集合序列数据，并同时考虑集合内部的结构和集合之间的时间关系。这是与现有方法的本质区别。
关键设计：模型使用标准的Transformer编码器结构。关键的设计包括：1) 使用平均池化或自注意力机制来生成集合的嵌入表示，以保证排列不变性；2) 使用可学习的位置嵌入来编码集合在序列中的位置信息；3) 使用交叉熵损失函数进行分类任务，或者使用回归损失函数进行预测任务。具体的参数设置根据不同的任务进行调整。
🖼️ 关键图片
📊 实验亮点
在美术分析任务中，Set2Seq Transformer在WikiArt-Seq2Rank数据集上取得了显著的性能提升，超越了传统的静态多示例学习方法。在野火危险预测任务中，该模型也表现出优于基线模型的性能。实验结果表明，Set2Seq Transformer能够有效地学习排列不变的集合表示以及时序和位置感知的序列表示，从而在不同的领域和任务中取得良好的效果。
🎯 应用场景
Set2Seq Transformer具有广泛的应用前景，例如视频理解（将视频帧视为集合）、医疗诊断（将患者的检查结果视为集合）、金融风险预测（将交易记录视为集合）等。该方法能够有效处理具有时间依赖性的集合数据，为相关领域的研究和应用提供了一种新的思路和工具。
📄 摘要（原文）
Sequential multiple-instance learning involves learning representations of sets distributed across discrete timesteps. In many real-world applications, modeling both the internal structure of sets and their temporal relationships across time is essential for capturing complex underlying patterns. However, existing methods either focus on learning set representations at a static level, ignoring temporal dynamics, or treat sequences as ordered lists of individual elements, lacking explicit mechanisms to represent sets. In this work, we propose Set2Seq Transformer, a novel architecture that jointly models permutation-invariant set structure and temporal dependencies by learning temporal and positional-aware representations of sets within a sequence in an end-to-end multimodal manner. We evaluate our Set2Seq Transformer on two tasks that require modeling both set structure alongside temporal and positional patterns, but differ significantly in domain, modality, and objective. First, we consider a fine-art analysis task, modeling artists' oeuvres for predicting artistic success using a novel dataset, WikiArt-Seq2Rank. Second, we utilize our Set2Seq Transformer for a short-term wildfire danger forecasting task. Through extensive experimentation, we show that our Set2Seq Transformer significantly improves over traditional static multiple-instance learning methods by effectively learning permutation-invariant set, temporal, and positional-aware representations across diverse domains, modalities, and tasks. We will release both the dataset and model implementations on GitHub.