AffectWorld: Benchmarking Emotion-Driven Future World Prediction
作者: Changhao Song, Yacong Chen, Hui Gao, Yazhou Zhang, Peng Zhang
分类: cs.CV, cs.AI
发布日期: 2026-10-13
💡 一句话要点
提出AffectWorld基准以解决情感驱动的未来世界预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 情感驱动预测 世界模型 反事实分析 人机交互 智能机器人
📋 核心要点
- 现有世界模型基准主要关注物理合理性，忽视情感对人类行为的影响，导致情感驱动的世界演变未得到充分测试。
- AffectWorld基准通过三个任务评估情感、行动和世界状态之间的关系，提供了一个全面的评估框架。
- 实验结果显示，五个最先进的模型在情感驱动行动的后果生成上存在显著差距，表明该领域的研究仍需深入。
📝 摘要（中文）
世界既包括物理环境，也包括人类行为者。预测其演变需要理解物理法则和情感如何影响人类行为。然而，现有的世界模型基准主要评估物理合理性和感知质量，情感驱动的世界演变尚未得到充分测试。我们提出了AffectWorld基准，通过三个任务评估情感-行动-世界状态链：世界状态一致性、情感-行动一致性和因果一致性。该基准包含1498个日常视频样本，标注了合理的情感、行动倾向和原子世界状态约束。一个反事实子集测试在固定场景和事件条件下，改变代理人的情感是否会导致相应的行动和后果变化。我们定义了八个指标，并结合自动视觉评估与人类校准的VLM/LLM判断。对五个最先进的世界模型的评估显示，情感驱动行动的后果生成和未来预测的情感干预适应存在显著差距。
🔬 方法详解
问题定义：论文要解决的问题是如何在世界模型中有效整合情感因素，以更准确地预测未来世界的演变。现有方法主要关注物理层面，未能充分考虑情感对人类行为的影响，导致预测结果的局限性。
核心思路：论文的核心思路是通过AffectWorld基准，建立情感-行动-世界状态的评估链条，设计三个任务来系统性地评估情感对世界状态的影响，从而填补现有研究的空白。
技术框架：整体架构包括三个主要任务：世界状态一致性、情感-行动一致性和因果一致性。每个任务都有相应的评估指标，结合自动化视觉评估与人类判断，形成一个综合的评估体系。
关键创新：最重要的技术创新点在于引入了情感因素作为世界模型评估的核心组成部分，通过反事实分析测试情感变化对行动和后果的影响，这在现有方法中是前所未有的。
关键设计：在参数设置上，论文定义了八个评估指标，并设计了一个反事实子集以测试情感敏感性，结合视觉评估与语言模型的判断，确保评估的全面性和准确性。实验中，世界状态变化分数和反事实情感敏感性分数被用作关键性能指标。
🖼️ 关键图片
📊 实验亮点
实验结果显示，五个最先进的世界模型在情感驱动的行动后果生成上存在显著差距，世界状态变化分数在0.100-0.280之间，反事实情感敏感性分数在0.027-0.070之间，表明该领域的研究仍需深入。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、情感计算和人机交互等。通过更好地理解情感如何影响行为，AffectWorld可以帮助开发更智能的系统，使其在复杂环境中做出更合理的决策，提升用户体验和交互质量。
📄 摘要（原文）
The world encompasses both physical environments and human actors. Predicting its evolution requires understanding both physical laws and how emotions shape human actions. However, existing world model benchmarks primarily assess physical plausibility and perceptual quality, leaving emotion-driven world evolution largely untested.We introduce AffectWorld, a benchmark that evaluates the chain Emotion-Action-World State through three tasks: World-State Consistency, Emotion-Action Consistency, and Causal Consistency. It comprises 1,498 everyday video samples annotated with plausible emotions, action tendencies, and atomic world-state constraints. A counterfactual subset of 233 samples tests whether changing an agent's emotion under fixed scene and event conditions yields corresponding changes in actions and consequences. We define eight metrics across the three tasks and an additional counterfactual metric, combining automatic visual assessment with human-calibrated VLM/LLM judgments. Evaluations of five SoTA world models (e.g., Cosmos3) required world-state change scores of 0.100-0.280 and counterfactual emotion sensitivity scores of 0.027-0.070 on a [0, 1] scale. These results reveal substantial gaps in generating the consequences of emotion-driven actions and adapting future predictions to emotional interventions. AffectWorld provides a testbed for advancing world models that capture how emotions shape future physical and social states.