Synthesizing Images on Perceptual Boundaries of ANNs for Uncovering and Manipulating Human Perceptual Variability

📄 arXiv: 2505.03641v1 📥 PDF

作者: Chen Wei, Chi Zhang, Jiachen Zou, Haotian Deng, Dietmar Heinke, Quanying Liu

分类: cs.AI

发布日期: 2025-05-06

备注: accepted at ICML 2025

💡 一句话要点

提出BAM框架，通过合成图像边界样本揭示并操控人类感知变异性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 感知变异性 人工神经网络 决策边界 行为实验 个性化模型 对抗生成 variMNIST数据集

📋 核心要点

  1. 人类感知决策存在个体差异，理解这种差异对认知科学至关重要，但现有方法难以系统性地探索和建模。
  2. BAM框架通过在ANN决策边界采样生成刺激，诱导显著的感知变异性，并结合行为实验进行分析。
  3. 实验构建了variMNIST数据集，并通过个性化模型对齐和对抗生成，实现了对个体感知决策的预测和操控。

📝 摘要（中文）

人类在认知任务和日常生活中的决策表现出显著的变异性，受到任务难度、个人偏好和经验等因素的影响。理解个体间的这种变异性对于揭示人类在不确定性和模糊性面前所依赖的感知和决策机制至关重要。本文提出了一个计算框架BAM（Boundary Alignment & Manipulation framework），它结合了人工神经网络（ANN）中的感知边界采样和人类行为实验，以系统地研究这种现象。我们的感知边界采样算法生成沿ANN决策边界的刺激，这些刺激本质上会引起显著的感知变异性。通过涉及246名参与者和116,715次试验的大规模行为实验，验证了这些刺激的有效性，最终形成了包含19,943个系统注释图像的variMNIST数据集。通过个性化模型对齐和对抗生成，我们建立了一种可靠的方法，可以同时预测和操纵成对参与者的不同感知决策。这项工作弥合了计算模型与人类个体差异研究之间的差距，为个性化感知分析提供了新的工具。

🔬 方法详解

问题定义：论文旨在解决人类感知决策中存在的个体差异问题。现有方法难以系统性地探索和建模这种差异，缺乏有效的工具来预测和操纵个体感知。因此，需要一种新的框架，能够生成具有挑战性的刺激，并结合计算模型和行为实验来深入研究人类感知变异性。

核心思路：论文的核心思路是利用人工神经网络（ANN）的决策边界来生成具有高度歧义性的刺激。由于ANN的决策边界是模型区分不同类别的关键区域，因此在该区域附近的图像更容易引起感知混淆和个体差异。通过系统地采样这些边界图像，可以有效地诱导人类的感知变异性，并为后续的建模和分析提供数据基础。

技术框架：BAM框架包含以下主要模块：1) 感知边界采样：使用算法在ANN的决策边界附近生成图像刺激。2) 行为实验：通过大规模的人类行为实验收集个体对这些刺激的感知决策数据。3) 个性化模型对齐：针对每个参与者构建个性化的感知模型，并通过对齐模型参数来预测其感知决策。4) 对抗生成：利用对抗生成技术，生成能够操纵成对参与者感知决策的图像。

关键创新：该论文的关键创新在于：1) 提出了一个结合ANN感知边界采样和人类行为实验的完整框架，用于研究人类感知变异性。2) 开发了一种有效的感知边界采样算法，能够生成具有高度歧义性的图像刺激。3) 建立了一种个性化模型对齐方法，能够同时预测和操纵成对参与者的感知决策。

关键设计：在感知边界采样方面，论文可能使用了基于梯度的方法来寻找ANN决策边界附近的图像。在个性化模型对齐方面，可能使用了贝叶斯方法或对抗训练来优化模型参数。在对抗生成方面，可能使用了生成对抗网络（GAN）来生成能够欺骗特定参与者的图像。具体的损失函数和网络结构等技术细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BAM框架生成的图像刺激能够有效地诱导人类的感知变异性。通过个性化模型对齐，可以显著提高对个体感知决策的预测准确率。此外，通过对抗生成，可以成功地操纵成对参与者的感知决策，证明了该框架在理解和操控人类感知方面的潜力。论文构建的variMNIST数据集包含近两万张系统标注图像，为后续研究提供了宝贵资源。

🎯 应用场景

该研究成果可应用于个性化推荐系统、人机交互界面设计、以及认知康复等领域。通过理解和预测个体的感知差异，可以设计更符合用户需求的智能系统，提高用户体验。此外，该框架还可以用于研究不同人群的感知特点，例如老年人或患有认知障碍的人群，从而开发更有效的康复方案。

📄 摘要（原文）

Human decision-making in cognitive tasks and daily life exhibits considerable variability, shaped by factors such as task difficulty, individual preferences, and personal experiences. Understanding this variability across individuals is essential for uncovering the perceptual and decision-making mechanisms that humans rely on when faced with uncertainty and ambiguity. We present a computational framework BAM (Boundary Alignment & Manipulation framework) that combines perceptual boundary sampling in ANNs and human behavioral experiments to systematically investigate this phenomenon. Our perceptual boundary sampling algorithm generates stimuli along ANN decision boundaries that intrinsically induce significant perceptual variability. The efficacy of these stimuli is empirically validated through large-scale behavioral experiments involving 246 participants across 116,715 trials, culminating in the variMNIST dataset containing 19,943 systematically annotated images. Through personalized model alignment and adversarial generation, we establish a reliable method for simultaneously predicting and manipulating the divergent perceptual decisions of pairs of participants. This work bridges the gap between computational models and human individual difference research, providing new tools for personalized perception analysis.