PainFormer: a Vision Foundation Model for Automatic Pain Assessment

📄 arXiv: 2505.01571v6 📥 PDF

作者: Stefanos Gkikas, Raul Fernandez Rojas, Manolis Tsiknakis

分类: cs.CV

发布日期: 2025-05-02 (更新: 2025-10-09)

期刊: IEEE Transactions on Affective Computing; 2025

DOI: 10.1109/TAFFC.2025.3605475

🔗 代码/项目: GITHUB

💡 一句话要点

PainFormer：用于自动疼痛评估的视觉基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疼痛评估 视觉基础模型 多任务学习 多模态融合 Transformer 深度学习 生理信号处理

📋 核心要点

  1. 现有疼痛评估方法缺乏通用性和跨模态适应性，难以有效处理不同类型的数据。
  2. PainFormer通过多任务学习训练视觉基础模型，提取高质量嵌入，并使用Embedding-Mixer进行疼痛评估。
  3. 实验表明，PainFormer在单模态和多模态疼痛评估任务中均取得了state-of-the-art的性能。

📝 摘要（中文）

疼痛影响了很大一部分人群。准确可靠的疼痛评估对于制定有效的疼痛管理方案至关重要。自动疼痛评估系统提供持续监测并支持决策过程，最终旨在减轻痛苦和防止功能下降。本研究提出了PainFormer，一个基于多任务学习原则的视觉基础模型，同时在14个任务/数据集上进行训练，总计1090万个样本。该基础模型作为各种输入模态的嵌入提取器，为Embedding-Mixer提供特征表示，Embedding-Mixer是一个基于Transformer的模块，执行最终的疼痛评估。对包括RGB、合成热成像和估计深度视频等行为模态，以及ECG、EMG、GSR和fNIRS等生理模态进行的大量实验表明，PainFormer能够有效地从不同的输入模态中提取高质量的嵌入。该框架在BioVid和AI4Pain两个疼痛数据集上进行了评估，并与文献中记载的75种不同的方法进行了直接比较。在单模态和多模态设置下进行的实验证明了跨模态的先进性能，并为自动疼痛评估的通用模型铺平了道路。基础模型的架构（代码）和权重可在https://github.com/GkikasStefanos/PainFormer上找到。

🔬 方法详解

问题定义：现有自动疼痛评估方法通常针对特定模态或数据集设计，泛化能力较弱。它们难以有效融合来自不同模态的信息，并且需要大量标注数据进行训练。因此，需要一种能够处理多种模态数据、具有良好泛化能力且能够利用无标签数据的通用疼痛评估模型。

核心思路：PainFormer的核心思路是利用视觉基础模型学习通用的特征表示，从而实现跨模态的疼痛评估。通过多任务学习，模型可以同时学习多个相关任务，从而提高模型的泛化能力和鲁棒性。Embedding-Mixer模块则负责融合来自不同模态的特征，并进行最终的疼痛评估。

技术框架：PainFormer框架主要包含两个模块：视觉基础模型和Embedding-Mixer。视觉基础模型负责从各种输入模态（如RGB、热成像、深度视频、ECG、EMG、GSR、fNIRS等）中提取特征表示。Embedding-Mixer是一个基于Transformer的模块，它将来自不同模态的特征进行融合，并输出最终的疼痛评估结果。整个框架采用端到端的方式进行训练。

关键创新：PainFormer的关键创新在于以下几点：1) 提出了一个基于多任务学习的视觉基础模型，能够从多种模态数据中提取高质量的特征表示。2) 设计了一个Embedding-Mixer模块，能够有效地融合来自不同模态的特征。3) 在多个疼痛数据集上进行了广泛的实验，证明了PainFormer的有效性和泛化能力。与现有方法相比，PainFormer能够更好地处理多种模态数据，并且具有更强的泛化能力。

关键设计：PainFormer使用Transformer作为视觉基础模型的主干网络。多任务学习的目标函数包括多个任务的损失函数加权和。Embedding-Mixer使用Transformer encoder结构，将不同模态的嵌入进行融合。具体的参数设置（如Transformer的层数、头数、隐藏层大小等）需要根据具体的任务和数据集进行调整。损失函数通常采用交叉熵损失或均方误差损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PainFormer在BioVid和AI4Pain两个疼痛数据集上进行了评估，并与75种不同的方法进行了比较。实验结果表明，PainFormer在单模态和多模态设置下均取得了state-of-the-art的性能。例如，在BioVid数据集上，PainFormer在多模态疼痛评估任务中取得了显著的提升，超过了现有最佳方法。

🎯 应用场景

PainFormer可应用于临床疼痛评估、远程医疗、智能康复等领域。它可以帮助医生更准确地评估患者的疼痛程度，制定个性化的治疗方案。此外，PainFormer还可以用于开发智能疼痛管理系统，为患者提供持续的监测和支持，提高患者的生活质量。该研究为开发通用疼痛评估模型奠定了基础，具有重要的实际应用价值。

📄 摘要（原文）

Pain is a manifold condition that impacts a significant percentage of the population. Accurate and reliable pain evaluation for the people suffering is crucial to developing effective and advanced pain management protocols. Automatic pain assessment systems provide continuous monitoring and support decision-making processes, ultimately aiming to alleviate distress and prevent functionality decline. This study introduces PainFormer, a vision foundation model based on multi-task learning principles trained simultaneously on 14 tasks/datasets with a total of 10.9 million samples. Functioning as an embedding extractor for various input modalities, the foundation model provides feature representations to the Embedding-Mixer, a transformer-based module that performs the final pain assessment. Extensive experiments employing behavioral modalities - including RGB, synthetic thermal, and estimated depth videos - and physiological modalities such as ECG, EMG, GSR, and fNIRS revealed that PainFormer effectively extracts high-quality embeddings from diverse input modalities. The proposed framework is evaluated on two pain datasets, BioVid and AI4Pain, and directly compared to 75 different methodologies documented in the literature. Experiments conducted in unimodal and multimodal settings demonstrate state-of-the-art performances across modalities and pave the way toward general-purpose models for automatic pain assessment. The foundation model's architecture (code) and weights are available at: https://github.com/GkikasStefanos/PainFormer.