Beyond Color Geometry: Evaluating Human-Like Color Representations in Vision Models
作者: Ayan Igali, Pakizar Shamoi
分类: cs.CV, cs.AI
发布日期: 2026-07-15
备注: 6 pages, 5 figures, 2 tables submitted to 2026 Joint 14th International Conference on Soft Computing and Intelligent Systems and 27th International Symposium on Advanced Intelligent Systems (SCIS&ISIS 2026)
💡 一句话要点
提出模糊感知模型以评估视觉模型中的人类色彩表现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉模型 色彩表现 模糊感知 图像编码器 Masked Autoencoders 人类感知 计算机视觉
📋 核心要点
- 现有的色彩表现评估方法主要依赖几何空间或离散标签，无法充分反映人类对颜色的细致感知。
- 本文提出了一种模糊感知模型，通过86个分级类别来评估视觉模型的色彩基础，提供更全面的评估框架。
- 在对11种视觉变换器编码器的实验中，Masked Autoencoders在超越几何对齐方面表现最佳，显示出显著的性能差异。
📝 摘要（中文）
视觉模型是否以人类的方式感知颜色？现有的色彩表现评估通常与几何空间（如CIELAB）或离散色彩标签进行比较，这些参考只能捕捉感知距离或类别归属，而无法反映人类组织颜色的细致方式。本文通过与86个基于人类调查数据的分级类别的模糊感知模型进行比较，评估色彩基础。该框架可应用于任何图像编码器，并测量类别边界、类别紧凑性和超越色彩几何的分级对齐等三种互补属性。实验表明，Masked Autoencoders在超越几何对齐方面表现最佳，其置信区间与其他编码器不重叠。
🔬 方法详解
问题定义：本文旨在解决现有色彩表现评估方法无法准确反映人类对颜色感知的细致程度的问题。现有方法主要依赖几何空间或离散标签，无法捕捉颜色的分级组织方式。
核心思路：论文提出了一种基于模糊感知模型的评估框架，通过与人类调查数据拟合的86个分级类别进行比较，提供了对色彩基础的更全面评估。
技术框架：该框架可应用于任何图像编码器，主要模块包括类别边界、类别紧凑性和分级对齐的测量，旨在全面评估视觉模型的色彩表现。
关键创新：最重要的创新在于引入了模糊感知模型，能够超越传统的几何评估，提供更细致的色彩表现评估。与现有方法相比，该模型能够更好地捕捉人类对颜色的感知方式。
关键设计：在实验中，Masked Autoencoders在超越几何对齐方面的表现显著优于其他编码器，且其置信区间不重叠，显示出其在保留色彩结构方面的优势。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Masked Autoencoders在超越几何对齐方面表现最佳，其置信区间与其他编码器不重叠，表明其在色彩表现评估中的独特优势。此外，实验还发现自然图像中，MAE能够更全面地表示表面颜色，而语言监督模型则在前景物体的颜色编码上表现更强。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像处理和人机交互等。通过更准确地评估视觉模型的色彩表现，能够提升图像识别、自动标注和增强现实等技术的效果，未来可能对多模态学习和智能视觉系统的发展产生深远影响。
📄 摘要（原文）
Do vision models see colors the way humans do? Existing evaluations of color representations usually compare them with geometric spaces such as CIELAB or with discrete color labels. These references capture perceptual distance or category membership, but not the graded way in which people organize colors. We evaluate color grounding against a fuzzy perceptual model with 86 graded categories fitted to human survey data. The framework can be applied to any image encoder and measures three complementary properties: category boundaries, category compactness, and graded alignment beyond what color geometry alone can explain. Across eleven Vision Transformer encoders, the category-level results are broadly similar, whereas graded alignment differs substantially. Masked Autoencoders achieve the strongest beyond-geometry alignment, with confidence intervals that do not overlap those of the other encoders. A layer-wise analysis further shows that masked reconstruction preserves this structure toward the output. On natural images, MAE represents surface color globally, while language-supervised models encode color more strongly in relation to the foreground object. These results show that human-like color grounding has several distinct aspects that should not be reduced to a single score.