PRISM: A Category-Theoretic Framework for Measuring and Refining Multimodal Analogies

📄 arXiv: 2610.01383v1 📥 PDF

作者: Mirella Zeisler, Ojas Shirekar, Mircea Licǎ, Chirag Raman

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出PRISM框架以解决多模态类比生成中的结构理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态类比 类比推理 可解释性 范畴理论 视觉隐喻生成 拉回精炼 关系对齐

📋 核心要点

  1. 现有的多模态类比生成方法缺乏有效的度量标准，无法判断生成的输出是否保持了原有的关系结构。
  2. 本文提出PRISM框架，通过拉回精炼和可解释结构映射来测量和改善多模态类比中的关系对齐。
  3. 在AnaloBench基准测试中，基于拉回分数选择类比的准确率达到82.5%，并且人类评估显示精炼后的输出在57.65%的比较中更受欢迎。

📝 摘要（中文）

类比推理涉及跨领域识别和保持关系结构。然而，现有的AI驱动的多模态类比生成方法缺乏可解释的度量标准，以判断生成输出是否理解并保持了这种结构。为此，本文提出了通过可解释结构映射的拉回精炼（PRISM）框架，这是一个模态无关的框架，用于测量和改善多模态类比中的关系对齐，特别在视觉隐喻生成上进行了评估。PRISM将类比表示为基于范畴理论的显式关系映射，并利用视觉语言模型（VLM）在不同模态中实例化这些结构。其第一个组件拉回分数量化了从生成图表示中得到的关系对齐。实验表明，基于拉回分数选择正确类比的准确率达82.5%。PRISM的第二个组件是一个迭代精炼循环，利用拉回分数作为上下文反馈信号，逐步修正生成的图像以增强关系深度。

🔬 方法详解

问题定义：本文旨在解决现有多模态类比生成方法中缺乏可解释性度量的问题，导致无法有效判断生成输出的关系结构是否得到保持。

核心思路：PRISM框架通过引入拉回精炼机制，利用可解释的结构映射来量化和改善类比中的关系对齐，确保生成的多模态输出在结构上更为一致。

技术框架：PRISM框架主要包括两个组件：拉回分数和迭代精炼循环。拉回分数用于量化关系对齐，而迭代精炼循环则利用该分数作为反馈信号，逐步修正生成的图像。

关键创新：PRISM的核心创新在于将类比表示为基于范畴理论的显式关系映射，并通过拉回分数提供可解释的关系对齐度量，这与现有方法的黑箱特性形成鲜明对比。

关键设计：在设计中，拉回分数通过生成的图表示来计算，确保其能够有效捕捉关系信息。此外，迭代精炼过程中的反馈机制设计为动态调整生成图像，以增强其关系深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AnaloBench基准测试中，PRISM框架通过拉回分数选择类比的准确率达82.5%，显示出其在关系对齐方面的有效性。此外，人类评估结果表明，57.65%的参与者更倾向于精炼后的输出，表明该方法在提升类比一致性和适当性方面的显著效果。

🎯 应用场景

该研究的潜在应用领域包括教育、创意设计和人机交互等，能够帮助系统更好地理解和生成类比，从而提升用户体验和交互质量。未来，PRISM框架可能在多模态生成任务中发挥更广泛的作用，推动类比推理的研究进展。

📄 摘要（原文）

Analogical reasoning involves identifying and preserving relational structures across domains. However, existing approaches to AI-driven multimodal analogy generation lack an interpretable measure of whether this structure is understood and maintained in the generated output. We address this gap with Pullback Refinement via Interpretable Structural Mapping (PRISM), a modality-agnostic framework for measuring and improving relational alignment in multimodal analogies, evaluated on visual metaphor generation. PRISM represents analogies as explicit relational mappings grounded in category theory and uses VLMs to instantiate these structures across modalities. Its first component, the pullback score, quantifies relational alignment from the resulting graph representation. On the AnaloBench benchmark, selecting the correct analogy purely by pullback score achieves 82.5% accuracy, demonstrating that the score captures meaningful relational information. PRISM's second component is an iterative refinement loop that uses the pullback score as an in-context feedback signal to iteratively revise the generated image towards greater relational depth. VLM-as-a-judge and human evaluations show that PRISM consistently improves metaphor consistency and analogy appropriateness over zero- shot generation, with human participants preferring the refined output in 57.65% of pairwise comparisons. However, a qualitative analysis reveals that refinement can favour visually crowded compositions rather than genuinely deeper relational correspondences.