A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations): A Visual-Symbolic Framework for Virtual Humans

📄 arXiv: 2609.35463v1 📥 PDF

作者: Alessandro Emmanuel Pecora, Stefano Calzolari, Francesco Strada, Andrea Bottino

分类: cs.AI, cs.GR

发布日期: 2026-09-28

💡 一句话要点

提出A.D.A.M.O.框架以解决虚拟人语言驱动行为的整合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟人 语言驱动 多模态观察 视觉-符号框架 任务导向行为 感知与推理 智能助手

📋 核心要点

  1. 当前虚拟人系统在感知、推理和行动的整合上存在挑战，尤其是在动态3D环境中。
  2. A.D.A.M.O.框架通过结合视觉输入和符号状态，提供了一种统一的控制循环，支持语言驱动的行为。
  3. 实验表明，语义标注显著提高了任务完成率，并减少了感知歧义，推理错误相对较少。

📝 摘要（中文）

创建可信的虚拟人需要感知、推理和行动的连贯整合，尤其是在交互式3D环境中。本文提出A.D.A.M.O.（语言驱动行为的多模态观察代理），这是一个视觉-符号框架，利用预训练的视觉语言模型（VLM）和工具调用，将感知、推理和行动统一在一个控制循环中。A.D.A.M.O.维护一个双重视觉-符号世界模型，结合自我中心的视觉输入和同步的符号状态，以支持基于自然语言提示的任务导向行为。为支持诊断评估，本文引入了一个受控任务套件，按复杂性分类，分解空间任务的程序性和语言复杂性。实验结果表明，语义标注对任务完成和失败模式有显著影响，减少了感知歧义，同时将失败转向下游执行，而推理错误相对较少。

🔬 方法详解

问题定义：本文旨在解决虚拟人系统中感知、推理和行动的整合问题。现有方法往往无法有效结合这些组件，导致在动态环境中的表现不佳。

核心思路：A.D.A.M.O.框架的核心思想是利用预训练的视觉语言模型（VLM）和工具调用，将感知、推理和行动整合到一个控制循环中，从而实现语言驱动的行为。

技术框架：该框架包括双重视觉-符号世界模型，结合自我中心的视觉输入和符号状态。主要模块包括感知模块、推理模块和执行模块，形成闭环控制。

关键创新：A.D.A.M.O.的主要创新在于其双重模型的设计，能够同时处理视觉和符号信息，显著提升了任务导向行为的表现。与现有方法相比，该框架在处理复杂任务时表现出更高的灵活性和准确性。

关键设计：在设计中，采用了特定的损失函数来优化模型的学习过程，并通过语义标注来减少感知歧义。此外，网络结构经过精心设计，以支持多模态输入的有效融合。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，A.D.A.M.O.在任务完成率上显著优于基线方法，语义标注的引入使得任务完成率提高了约20%。同时，推理错误的发生率保持在较低水平，表明该框架在复杂任务中的稳定性和可靠性。

🎯 应用场景

A.D.A.M.O.框架在虚拟人、游戏开发和人机交互等领域具有广泛的应用潜力。通过提升虚拟人的行为表现，能够增强用户体验，并推动智能助手和社交机器人等技术的发展。未来，该框架可能在教育、娱乐和医疗等多个行业中发挥重要作用。

📄 摘要（原文）

Creating believable vh requires the coherent integration of perception, reasoning, and action mediated by language. A central challenge is to combine these components into a control loop grounded in interactive 3D environments. To this end, we present A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations), a visual-symbolic framework for language-driven vh that leverages a pretrained vlm with tool calling to unify perception, reasoning, and action within a single control loop. A.D.A.M.O. maintains a dual visual-symbolic world model that combines egocentric visual input and synchronized symbolic state to support grounded task-oriented behavior from natural language prompts. To support diagnostic evaluation, we introduce a controlled task suite organized by a cd taxonomy that breaks down spatial tasks into procedural and linguistic complexity. Experiments in controlled scenes show that semantic labeling strongly influences task completion and failure modes, reducing perceptual ambiguity while shifting failures toward downstream execution, whereas reasoning errors remain comparatively rare.