Neuro-Symbolic Graph Transformers for Hierarchical Intention Recognition from Multimodal Human Activity Sequences

📄 arXiv: 2610.18176v1 📥 PDF

作者: Farnaz Soleimani, Abdelghani Chibani, Yacine Amirat, Ghazaleh Khodabandelou

分类: cs.AI, cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出神经符号图变换器以解决多模态人类活动序列的意图识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层次意图识别 神经符号学习 多模态融合 人机协作 图神经网络 一阶逻辑 自注意力机制

📋 核心要点

  1. 现有方法主要集中于平面动作分类，无法有效捕捉运动与高层意图之间的结构依赖，导致意图识别的不足。
  2. 本文提出的神经符号图变换器（NSGT）通过集成人类推理图（HR-G）和可微分的一阶逻辑损失，增强了层次意图的识别能力。
  3. 在NTU-Hierarchy数据集上，NSGT在基线配置下达到91.65%的顶级动作准确率，结合FOL损失后逻辑一致性提高至96.67%。

📝 摘要（中文）

主动的人机协作要求自主系统不仅推断即时动作，还要理解支配人类行为的层次意图。现有深度学习方法主要集中于平面动作分类，未能捕捉运动与高层目标之间的结构依赖。本文提出了一种神经符号图变换器（NSGT），在多模态框架中集成了人类推理图（HR-G），通过可学习的拓扑偏置融入自注意力机制。此外，架构还增强了可微分的一阶逻辑（FOL）损失，作为结构正则化器，确保在原子动作、复合活动、低层意图和高层意图四个层次上的本体一致性。通过在合成的NTU-Hierarchy数据集上进行评估，NSGT在基线配置下实现了91.65%的顶级动作准确率，结合FOL损失后，逻辑一致性提高了3.26个百分点，达到96.67%。

🔬 方法详解

问题定义：本文旨在解决多模态人类活动序列中的层次意图识别问题。现有方法多集中于平面动作分类，未能捕捉运动与高层目标之间的结构依赖，导致意图识别的不足。

核心思路：论文提出的神经符号图变换器（NSGT）通过集成人类推理图（HR-G）与可微分的一阶逻辑损失，增强了对层次意图的理解。HR-G通过可学习的拓扑偏置融入自注意力机制，提升了模型对结构信息的捕捉能力。

技术框架：整体架构包括一个神经符号图变换器（NSGT），其中集成了人类推理图（HR-G）和一阶逻辑损失。HR-G用于捕捉动作之间的结构关系，而FOL损失则作为结构正则化器，确保不同层次之间的一致性。

关键创新：最重要的技术创新在于将人类推理图（HR-G）与自注意力机制结合，形成了可学习的拓扑偏置，从而有效捕捉层次意图的结构依赖。这一设计与传统的平面动作分类方法本质上有所区别。

关键设计：在模型设计中，使用了一阶逻辑损失作为正则化器，确保在原子动作、复合活动、低层意图和高层意图四个层次上的本体一致性。此外，模型在参数设置上采用了可调的权重配置，以实现准确性与结构一致性之间的平衡。具体的超参数设置如λ=0.5，以最大化逻辑一致性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，NSGT在基线配置下实现了91.65%的顶级动作准确率，结合FOL损失后逻辑一致性提高至96.67%。在主要一致性最大化配置下，逻辑一致性达到94.59%，本体矛盾减少33%，同时保持了89.90%的顶级动作准确率。

🎯 应用场景

该研究的潜在应用领域包括人机协作、智能机器人、智能监控等场景，能够提升机器人对人类意图的理解和响应能力，进而实现更高效的协作与交互。未来，该技术有望在智能家居、医疗辅助等领域发挥重要作用。

📄 摘要（原文）

Proactive human-robot collaboration requires autonomous systems to infer not only immediate actions but also the underlying hierarchical intentions governing human behavior. Current deep learning approaches predominantly focus on flat action classification, failing to capture the structural dependencies connecting kinematic motion to high-level goals. A Neuro-Symbolic Graph Transformer (NSGT) is proposed within this multimodal framework, a Human Reasoning Graph (HR-G) is integrated into the self-attention mechanism via learnable topological biases. Furthermore, the architecture is augmented with a differentiable First-Order Logic (FOL) loss, acting as a structural regularizer by which ontological consistency is enforced across four levels: atomic actions, composite activities, Low-Level Intentions, and High-Level Intentions. Evaluation is performed on the synthesized NTU-Hierarchy dataset, a four-level ontological extension of NTU RGB+D 120, wherein existing sequences were mapped into 119,383 complex hierarchical episodes (85 actions, 16 activities, 8 LLIs, 4 HLIs). To prevent circular supervision, strict isolation between label generation and FOL constraints was maintained. In the base configuration, 91.65% top-1 action accuracy is achieved by the NSGT. When the FOL loss is incorporated into the baseline, logic consistency is improved by 3.26 percentage points to 96.67%. Through the HR-G biases, a tunable trade-off between accuracy and structural coherence is established. In the primary consistency-maximizing configuration ($λ$ = 0.5), a logic consistency of 94.59% is reached and ontological contradictions are reduced by 33%, while a robust 89.90% top-1 action accuracy is retained. Finally, interpretable reasoning evidence is provided by the learned HR-G weights, wherein transition edges are strongly exploited ($β$ trans $\approx$ +2.6) without explicit supervision.