Research on the Laws of Multimodal Perception and Cognition from a Cross-cultural Perspective -- Taking Overseas Chinese Gardens as an Example

📄 arXiv: 2312.17642v1 📥 PDF

作者: Ran Chen, Xueqi Yao, Jing Zhao, Shuhan Xu, Sirui Zhang, Yijun Mao

分类: cs.AI, cs.CL, cs.CV, cs.SI

发布日期: 2023-12-29

备注: 16 figures,1 table

💡 一句话要点

提出基于社交媒体多模态分析与多智能体系统的海外中华园林审美认知研究方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 审美认知 海外中华园林 社交媒体分析 多智能体系统

📋 核心要点

  1. 现有方法难以充分挖掘社交媒体中蕴含的丰富情感和图像认知信息，限制了对审美体验的深入理解。
  2. 利用深度学习分析社交媒体文本和视觉数据，结合多智能体系统模拟，探索审美认知的规律。
  3. 研究超越了传统的情感评分方法，直接分析文本数据，为跨文化背景下的建筑和景观设计提供新视角。

📝 摘要（中文）

本研究旨在探索多模态数据分析中感知与认知交互的复杂关系，特别关注海外中华园林的空间体验设计。研究发现，社交媒体上的评价内容和图像能够反映个体关注点和情感反应，为包含情感和图像认知信息的认知研究提供丰富的数据基础。通过利用深度学习技术分析社交媒体的文本和视觉数据，揭示了人们在海外中华园林背景下的感知与情感认知之间的关系。此外，本研究引入了多智能体系统（MAS）和AI智能体。每个智能体通过聊天场景模拟结合网络搜索，探索审美认知的规律。本研究超越了将感知转化为情感分数的传统方法，扩展了直接分析文本和深入挖掘观点数据方面的研究方法。本研究为理解审美体验及其对不同文化背景下的建筑和景观设计的影响提供了新的视角，是对文化传播和审美理解领域的重要贡献。

🔬 方法详解

问题定义：本研究旨在解决如何更全面、深入地理解海外中华园林中的审美认知规律的问题。现有方法主要依赖于将感知转化为情感分数，忽略了社交媒体文本和图像中蕴含的丰富信息，无法充分反映个体在文化背景下的复杂情感和认知过程。传统方法在跨文化语境下的适用性也存在局限性。

核心思路：本研究的核心思路是结合多模态数据分析和多智能体系统，从社交媒体数据中提取文本和视觉信息，并利用深度学习技术分析这些数据，从而揭示人们在海外中华园林中的感知与情感认知之间的关系。同时，通过构建多智能体系统，模拟智能体在聊天场景中探索审美认知的过程，从而更深入地理解审美规律。

技术框架：本研究的技术框架主要包括以下几个阶段：1) 数据采集：从社交媒体平台收集与海外中华园林相关的文本和图像数据。2) 多模态数据分析：利用深度学习技术，分别对文本和图像数据进行特征提取和情感分析。3) 关系建模：建立感知与情感认知之间的关系模型，揭示二者之间的相互作用机制。4) 多智能体系统构建：构建多智能体系统，模拟智能体在聊天场景中探索审美认知的过程。5) 结果分析与验证：对研究结果进行分析和验证，评估模型的有效性和泛化能力。

关键创新：本研究的关键创新在于：1) 提出了基于社交媒体多模态数据分析的审美认知研究方法，能够更全面地挖掘个体在文化背景下的情感和认知信息。2) 引入了多智能体系统，模拟智能体在聊天场景中探索审美认知的过程，从而更深入地理解审美规律。3) 突破了传统的情感评分方法，直接分析文本数据，为跨文化背景下的建筑和景观设计提供了新的研究视角。

关键设计：研究中涉及的关键设计包括：1) 深度学习模型的选择和优化，例如使用预训练模型进行特征提取，并根据具体任务进行微调。2) 多智能体系统的设计，包括智能体的数量、角色、交互方式等。3) 聊天场景的构建，需要模拟真实的对话情境，并设置合理的任务目标。4) 损失函数的设计，用于优化深度学习模型和多智能体系统的性能。具体的参数设置和网络结构等技术细节在论文中可能未详细描述，属于未知信息。

📊 实验亮点

该研究通过分析社交媒体数据，揭示了人们在海外中华园林中的感知与情感认知之间的关系。引入多智能体系统，模拟智能体在聊天场景中探索审美认知的过程，为理解审美体验提供了新的视角。研究超越了传统的情感评分方法，直接分析文本数据，为跨文化背景下的建筑和景观设计提供了新的研究思路。

🎯 应用场景

该研究成果可应用于文化遗产保护、旅游体验设计、跨文化交流等领域。通过深入理解不同文化背景下人们的审美认知，可以为建筑和景观设计提供更具文化敏感性和个性化的解决方案，提升用户体验，促进文化交流与融合。未来可进一步拓展到其他文化场景和艺术形式的研究中。

📄 摘要（原文）

This study aims to explore the complex relationship between perceptual and cognitive interactions in multimodal data analysis,with a specific emphasis on spatial experience design in overseas Chinese gardens. It is found that evaluation content and images on social media can reflect individuals' concerns and sentiment responses, providing a rich data base for cognitive research that contains both sentimental and image-based cognitive information. Leveraging deep learning techniques, we analyze textual and visual data from social media, thereby unveiling the relationship between people's perceptions and sentiment cognition within the context of overseas Chinese gardens. In addition, our study introduces a multi-agent system (MAS)alongside AI agents. Each agent explores the laws of aesthetic cognition through chat scene simulation combined with web search. This study goes beyond the traditional approach of translating perceptions into sentiment scores, allowing for an extension of the research methodology in terms of directly analyzing texts and digging deeper into opinion data. This study provides new perspectives for understanding aesthetic experience and its impact on architecture and landscape design across diverse cultural contexts, which is an essential contribution to the field of cultural communication and aesthetic understanding.