From Particles to Agents: Hallucination as a Metric for Cognitive Friction in Spatial Simulation
作者: Javier Argota Sánchez-Vaquerizo, Luis Borunda Monsivais
分类: cs.HC, cs.AI, cs.CY
发布日期: 2026-01-29
备注: Paper selected for the workshop Human Cognition, AI, and the Future of HCI: Navigating the Disruptive and Wild Landscape of Large Language Models and Agentic AI as part of the Human-Computer Interaction (HCI) conference of the Alpine region (AlpCHI 2026) hosted at the Congressi Stefano Franscini, March 1st to March 5th, 2026 on Monte Verità in Ascona, Switzerland
💡 一句话要点
提出Agentic环境模拟，利用AI幻觉度量空间模拟中的认知摩擦。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Agentic环境模拟 认知摩擦 AI幻觉 情景空间推理 多模态生成模型 人机交互 建筑设计
📋 核心要点
- 传统建筑模拟将环境元素视为无认知的粒子，忽略了人类在空间中的认知过程，导致模拟结果与实际体验存在偏差。
- 论文提出Agentic环境模拟，利用大型多模态模型预测环境状态，并引入情景空间推理，模拟人类在空间中的认知过程。
- 论文将AI幻觉作为诊断工具，量化认知摩擦，揭示空间中的符号歧义，并提出以人为中心的认知编排框架。
📝 摘要（中文）
本文提出Agentic环境模拟，旨在弥合传统建筑模拟（如计算流体动力学、疏散、结构分析）中将元素建模为确定性、基于物理的“粒子”与认知“智能体”之间的差距。该方法利用大型多模态生成模型，基于语义期望主动预测空间环境的下一个状态。通过可访问性增强现实流程和多模态数字孪生的例子，论文提出从按时间顺序的时间步进到情景空间推理的转变，其中模拟通过有意义的、由惊奇触发的事件推进。在此框架内，论文将AI幻觉视为诊断工具，通过形式化认知摩擦（$C_f$），揭示建筑空间中的“幻影可供性”，即符号歧义。最后，论文挑战了当前的人机交互范式，将环境视为动态认知伙伴，并提出了以人为中心的认知编排框架，用于设计能够保持自主性、情感清晰性和认知完整性的AI驱动模拟。
🔬 方法详解
问题定义：传统建筑模拟，如计算流体动力学、疏散模拟等，通常将环境中的元素建模为基于物理规则的“粒子”，缺乏对人类认知过程的考虑。这种方法无法捕捉人类在空间中的真实体验，导致模拟结果与实际情况存在偏差。现有方法难以有效评估和优化建筑空间对人类认知的影响，例如空间布局的歧义性、可达性问题等。
核心思路：论文的核心思路是将环境中的元素视为具有认知能力的“智能体”，利用大型多模态生成模型模拟智能体对环境的感知和推理过程。通过引入“情景空间推理”，模拟人类在空间中基于经验和期望的认知过程。AI幻觉被视为认知摩擦的指标，用于诊断空间中的潜在问题。
技术框架：Agentic环境模拟框架包含以下主要模块：1) 环境感知模块：利用多模态传感器（如摄像头、激光雷达）获取环境信息。2) 认知模型：使用大型多模态生成模型（如扩散模型、Transformer）模拟智能体对环境的认知和推理过程。3) 情景空间推理：将模拟过程分解为一系列由“惊奇”事件触发的认知片段，模拟人类在空间中的认知流程。4) 认知摩擦评估：通过分析AI幻觉，量化认知摩擦，识别空间中的“幻影可供性”。5) 认知编排：基于认知摩擦评估结果，优化空间设计，提升用户体验。
关键创新：论文的关键创新在于：1) 将AI幻觉作为度量认知摩擦的指标，为评估空间设计对人类认知的影响提供了一种新的方法。2) 提出Agentic环境模拟框架，将环境元素建模为具有认知能力的智能体，更真实地模拟了人类在空间中的体验。3) 引入情景空间推理，模拟人类在空间中基于经验和期望的认知过程。
关键设计：论文的关键设计包括：1) 使用大型多模态生成模型，例如Stable Diffusion或类似架构，进行环境状态预测。2) 定义认知摩擦($C_f$)，并将其与AI幻觉的程度相关联。3) 设计基于“惊奇”事件的情景空间推理机制，例如当预测状态与实际状态不符时，触发新的认知片段。4) 采用以人为中心的认知编排框架，确保AI驱动的模拟能够保持用户的自主性、情感清晰性和认知完整性。
🖼️ 关键图片
📊 实验亮点
论文提出了将AI幻觉作为认知摩擦度量指标的创新方法，但文中并未提供具体的实验数据来验证该方法的有效性。未来的工作可以设计实验，对比Agentic环境模拟与传统模拟方法在预测人类行为和评估空间认知负荷方面的性能差异，并量化AI幻觉与实际认知摩擦之间的相关性。
🎯 应用场景
该研究可应用于建筑设计、城市规划、增强现实、虚拟现实等领域。通过Agentic环境模拟，可以评估和优化建筑空间对人类认知的影响，提升用户体验，例如优化建筑物内的导航系统，设计更易于理解和使用的公共空间，以及开发更具沉浸感的虚拟现实体验。该研究还有助于开发更智能的辅助技术，例如为视力障碍者设计的AR导航系统。
📄 摘要（原文）
Traditional architectural simulations (e.g. Computational Fluid Dynamics, evacuation, structural analysis) model elements as deterministic physics-based "particles" rather than cognitive "agents". To bridge this, we introduce \textbf{Agentic Environmental Simulations}, where Large Multimodal generative models actively predict the next state of spatial environments based on semantic expectation. Drawing on examples from accessibility-oriented AR pipelines and multimodal digital twins, we propose a shift from chronological time-steps to Episodic Spatial Reasoning, where simulations advance through meaningful, surprisal-triggered events. Within this framework we posit AI hallucinations as diagnostic tools. By formalizing the \textbf{Cognitive Friction} ($C_f$) it is possible to reveal "Phantom Affordances", i.e. semiotic ambiguities in built space. Finally, we challenge current HCI paradigms by treating environments as dynamic cognitive partners and propose a human-centered framework of cognitive orchestration for designing AI-driven simulations that preserve autonomy, affective clarity, and cognitive integrity.