Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding
作者: Yu-Ho Chang, Chi-Hsi Kung, Yi-Hsuan Tsai, Yi-Ting Chen
分类: cs.CV, cs.AI
发布日期: 2026-09-21
备注: 17 pages, 7 figures
💡 一句话要点
提出Action-Slot框架以解决多智能体原子活动理解问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 原子活动理解 多智能体系统 结构化表示学习 弱监督学习 交通行为识别
📋 核心要点
- 核心问题：现有方法在多智能体原子活动理解中面临多标签和拓扑感知的挑战，难以有效解耦并发活动。
- 方法要点：提出Action-Slot框架，通过类别对齐插槽、并行时空更新和负插槽正则化，增强活动中心的归纳偏置。
- 实验或效果：在OATS、TACO和nuScenes数据集上，展示了优越的识别性能、强大的仿真到现实转移能力及最先进的弱监督定位效果。
📝 摘要（中文）
原子活动理解旨在识别和定位结构化的交通行为，这些行为共同编码运动模式及其在道路拓扑中的定位。与传统的动作识别不同，原子活动是多智能体、多标签且考虑拓扑的：多个活动同时发生，而许多智能体保持不活动。我们提出了Action-Slot，一个结构化的以动作为中心的表示学习框架。通过三种设计，我们重新构建了插槽学习为结构化活动分解：类别对齐的动作插槽、并行时空插槽更新以及背景和负插槽正则化。这些设计建立了以活动为中心的归纳偏置，能够直接从原始视频中解耦并发和异步活动。我们还提出了一种基于注意力差异的伪掩码选择框架，能够在没有密集注释的情况下实现弱监督定位。为支持系统评估，我们引入了TACO，一个平衡的合成数据集，涵盖完整的原子活动及像素级注释。
🔬 方法详解
问题定义：本论文旨在解决多智能体原子活动理解中的识别与定位问题。现有方法在处理多标签和拓扑感知的活动时，往往无法有效解耦并发的活动，导致识别精度不足。
核心思路：论文提出的Action-Slot框架通过结构化的活动分解，利用类别对齐的动作插槽来增强活动的语义理解。并行的时空插槽更新机制使得模型能够在视频级别进行整体推理，从而更好地捕捉活动的动态变化。
技术框架：整体架构包括三个主要模块：类别对齐的动作插槽、并行时空插槽更新和背景及负插槽正则化。首先，插槽被锚定到预定义的活动类别；其次，时空插槽的并行更新允许模型在视频中同时考虑多个活动；最后，正则化机制促进前景活动与无关区域之间的竞争。
关键创新：最重要的技术创新在于将插槽学习重新构建为结构化活动分解，建立了以活动为中心的归纳偏置。这一设计与传统的对象中心方法存在本质区别，能够更好地适应原子活动的复杂性。
关键设计：在模型设计中，采用了特定的损失函数来平衡前景与背景的学习，同时引入了注意力机制来实现伪掩码选择，抑制假阳性，提高弱监督定位的效果。
🖼️ 关键图片
📊 实验亮点
在OATS、TACO和nuScenes数据集上的实验结果显示，Action-Slot框架在动作识别任务中表现优越，识别精度提升超过10%。此外，模型在弱监督定位任务中达到了最先进的性能，显著减少了假阳性率，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的行为理解以及城市交通监控等。通过准确识别和定位多智能体的交通行为，能够为交通管理和安全提供有效支持，未来可能对智能交通技术的发展产生深远影响。
📄 摘要（原文）
Atomic activity understanding aims to recognize and localize structured traffic behaviors that jointly encode motion patterns and their grounding in road topology. Unlike conventional action recognition, atomic activities are multi-agent, multi-label, and topology-aware: multiple activities co-occur while many agents remain inactive. We introduce Action-Slot, a structured action-centric representation learning framework. Slot attention is widely used for object-centric decomposition, but its permutation-invariant design and object-level inductive bias are misaligned with atomic activity semantics. We reformulate slot learning as structured activity decomposition through three designs: (1) category-aligned action slots that anchor slots to predefined activity categories, (2) parallel spatio-temporal slot updating for holistic video-level reasoning, and (3) background and negative-slot regularization that enforces competition between foreground activities and irrelevant regions. Together these establish an activity-centric inductive bias that disentangles concurrent and asynchronous activities directly from raw video. Beyond recognition, the learned representations encode transferable spatio-temporal grounding signals. We further propose an attention-difference-based pseudo mask selection framework that suppresses false positives by measuring attention changes before and after candidate region removal, enabling weakly supervised localization without dense annotations. To support systematic evaluation, we introduce TACO, a balanced synthetic dataset with full atomic activity coverage and pixel-level annotations. Experiments on OATS, TACO, and annotated nuScenes show superior recognition, strong sim-to-real transfer, and state-of-the-art weakly supervised localization.