Personalized Image Descriptions from Attention Sequences

📄 arXiv: 2512.06662v1 📥 PDF

作者: Ruoyu Xue, Hieu Le, Jingyi Xu, Sounak Mondal, Abe Leite, Gregory Zelinsky, Minh Hoai, Dimitris Samaras

分类: cs.CV

发布日期: 2025-12-07

备注: 10 pages, 4 figures

💡 一句话要点

DEPER：利用个性化注意力序列生成更符合人类感知的图像描述

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化图像描述 视觉注意力 多模态学习 视觉-语言模型 少样本学习

📋 核心要点

  1. 现有图像描述模型忽略了个体观看模式的差异性，导致生成的描述缺乏个性化。
  2. DEPER模型通过学习主体嵌入来捕捉个体观看行为和语言风格，并利用注意力预测任务进行引导。
  3. 实验结果表明，DEPER在多个数据集上显著提升了图像描述的质量和人类一致性，平均提升24%。

📝 摘要（中文）

人们对同一图像的感知存在差异，关注区域、对象和细节的顺序各不相同，并以不同的语言风格进行描述，导致图像描述存在显著的变异性。现有的个性化图像描述模型主要关注语言风格，而忽略了个体观看模式。本文提出DEPER（DEscription-PERception persona encoder），通过显式建模个性化观看行为作为描述生成的关键因素来解决这一问题。DEPER学习一个主体嵌入，该嵌入捕捉语言风格和观看行为，并由辅助的注意力预测任务引导。一个轻量级的适配器将这些嵌入与冻结的视觉-语言模型对齐，实现无需重新训练的少样本个性化。在涵盖不同观看任务和长短描述的四个数据集上，DEPER平均提升了24%，表明建模个性化注意力能够产生更符合人类感知和高质量的描述。我们认为，理解人们如何观看有助于预测他们如何描述；建模人类感知的多样性可以提高多模态系统的性能和人类一致性。

🔬 方法详解

问题定义：现有图像描述模型无法有效捕捉不同个体观看图像时的差异性，导致生成的描述缺乏个性化，无法反映个体独特的感知和理解。现有方法主要关注语言风格的个性化，忽略了视觉注意力的影响。

核心思路：本文的核心思路是将个性化的观看行为（视觉注意力）作为图像描述生成的重要因素进行建模。通过学习一个能够同时捕捉个体语言风格和观看行为的主体嵌入，模型能够生成更符合个体感知的图像描述。这样设计的目的是为了弥补现有方法忽略视觉注意力差异的不足，从而提高描述的质量和个性化程度。

技术框架：DEPER模型包含以下主要模块：1) 视觉编码器：提取图像的视觉特征。2) 注意力预测模块：预测个体观看图像时的注意力分布。3) 主体嵌入模块：学习捕捉个体语言风格和观看行为的主体嵌入。4) 适配器模块：将主体嵌入与预训练的视觉-语言模型对齐。5) 描述生成模块：利用视觉特征和主体嵌入生成图像描述。整体流程是，首先利用视觉编码器提取图像特征，然后通过注意力预测模块和主体嵌入模块学习个体化的视觉感知和语言风格，最后利用适配器将这些信息融入到预训练的视觉-语言模型中，生成个性化的图像描述。

关键创新：DEPER的关键创新在于显式地建模了个性化的观看行为，并将其融入到图像描述生成过程中。与现有方法相比，DEPER不仅关注语言风格的个性化，还考虑了个体视觉注意力的差异，从而能够生成更符合人类感知的图像描述。此外，DEPER采用轻量级的适配器，可以在不重新训练整个模型的情况下实现少样本个性化。

关键设计：DEPER的关键设计包括：1) 注意力预测损失：用于引导主体嵌入学习个体化的观看行为。2) 轻量级适配器：用于将主体嵌入与预训练的视觉-语言模型对齐，实现少样本个性化。3) 主体嵌入的维度：需要根据数据集的大小和个体数量进行调整，以平衡模型的表达能力和泛化能力。4) 预训练的视觉-语言模型：选择合适的预训练模型对最终的性能至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DEPER在四个数据集上进行了评估，涵盖了不同的观看任务和描述长度。实验结果表明，DEPER在所有数据集上都取得了显著的提升，平均提升幅度达到24%。与现有方法相比，DEPER生成的描述更符合人类感知，质量更高。消融实验验证了注意力预测模块和轻量级适配器的有效性。

🎯 应用场景

DEPER模型可应用于个性化图像搜索、辅助视觉障碍人士理解图像内容、以及提升人机交互的自然性和有效性。通过理解不同用户的观看习惯和偏好，可以提供更符合用户需求的图像描述和信息检索结果。未来，该技术有望应用于虚拟现实、增强现实等领域，为用户提供更加沉浸式和个性化的体验。

📄 摘要（原文）

People can view the same image differently: they focus on different regions, objects, and details in varying orders and describe them in distinct linguistic styles. This leads to substantial variability in image descriptions. However, existing models for personalized image description focus on linguistic style alone, with no prior work leveraging individual viewing patterns. We address this gap by explicitly modeling personalized viewing behavior as a core factor in description generation. Our method, DEPER (DEscription-PERception persona encoder), learns a subject embedding that captures both linguistic style and viewing behavior, guided by an auxiliary attention-prediction task. A lightweight adapter aligns these embeddings with a frozen vision-language model, enabling few-shot personalization without retraining. Across four datasets spanning diverse viewing tasks and both short and detailed descriptions, DEPER achieves a 24% average improvement, showing that modeling personalized attention produces more human-aligned and high-quality descriptions. We posit that understanding how people see helps predict what they say; modeling human diversity in perception can improve both performance and human alignment in multimodal systems.