Reasoning LLMs for User-Aware Multimodal Conversational Agents

📄 arXiv: 2504.01700v1 📥 PDF

作者: Hamed Rahimi, Jeanne Cattoni, Meriem Beghili, Mouad Abrini, Mahdi Khoramshahi, Maribel Pino, Mohamed Chetouani

分类: cs.HC, cs.AI, cs.RO

发布日期: 2025-04-02

💡 一句话要点

提出USER-LLM R1框架，通过动态用户画像和CoT推理实现用户感知多模态对话。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 用户感知 多模态对话 思维链推理 用户画像 检索增强生成

📋 核心要点

  1. 现有社交机器人面临冷启动问题，缺乏初始用户偏好信息，难以实现有效的人机交互。
  2. USER-LLM R1框架利用CoT推理和视觉-语言模型，动态构建和更新用户画像，实现个性化对话。
  3. 实验表明，该框架在ElderlyTech-VQA数据集上显著提升了ROUGE指标，并增强了老年用户的参与度。

📝 摘要（中文）

本文提出了一种名为USER-LLM R1的新型框架，用于用户感知的对话代理，旨在解决社交机器人中常见的冷启动问题。该框架通过动态用户画像和模型初始化，从首次交互开始实现个性化互动。USER-LLM R1集成了思维链（CoT）推理模型，迭代地推断用户偏好，并利用视觉-语言模型（VLMs）从多模态输入中初始化用户画像。借助检索增强生成（RAG）架构，系统在固有的CoT过程中动态地细化用户表示，确保上下文相关的自适应响应。在ElderlyTech-VQA Bench上的评估表明，相比最先进的基线方法，ROUGE-1（+23.2%）、ROUGE-2（+0.6%）和ROUGE-L（+8%）的F1分数均有显著提高。消融研究强调了推理模型大小对性能的影响。人工评估进一步验证了该框架的有效性，尤其是在老年用户中，定制的响应增强了参与度和信任。论文还严格讨论并解决了伦理问题，包括隐私保护和偏见缓解，以确保负责任的部署。

🔬 方法详解

问题定义：论文旨在解决社交机器人中用户感知的冷启动问题。现有方法在缺乏用户初始信息的情况下，难以进行个性化对话，导致人机交互效果不佳。尤其是在与老年人等特殊群体交互时，无法根据其特定需求和偏好提供定制化的服务。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的推理能力和视觉-语言模型（VLMs）的多模态信息处理能力，动态地构建和更新用户画像。通过思维链（CoT）推理，逐步推断用户的偏好和需求，并结合检索增强生成（RAG）架构，生成上下文相关的个性化回复。

技术框架：USER-LLM R1框架主要包含以下几个模块：1) 多模态输入模块：接收用户的文本、图像等输入信息。2) 用户画像初始化模块：利用VLMs从多模态输入中提取特征，初始化用户画像。3) CoT推理模块：利用LLMs进行思维链推理，逐步推断用户的偏好和需求。4) RAG模块：从知识库中检索相关信息，并结合用户画像生成个性化回复。5) 用户画像更新模块：根据用户的反馈和交互历史，动态更新用户画像。

关键创新：该论文的关键创新在于将CoT推理和RAG架构相结合，用于动态用户画像的构建和更新。传统的用户画像构建方法通常依赖于预先设定的规则或静态的数据分析，而该方法能够根据用户的实时交互信息进行动态调整，从而更加准确地反映用户的真实需求和偏好。

关键设计：论文中关键的设计包括：1) 使用特定的提示工程（prompt engineering）来引导LLMs进行CoT推理，例如，要求模型逐步解释其推理过程。2) 利用VLMs提取图像中的关键信息，例如，识别图像中的物体和场景。3) 设计合适的检索策略，从知识库中检索与用户需求相关的信息。4) 使用合适的损失函数来训练LLMs和VLMs，例如，使用交叉熵损失函数来优化生成回复的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，USER-LLM R1框架在ElderlyTech-VQA数据集上取得了显著的性能提升，ROUGE-1、ROUGE-2和ROUGE-L的F1分数分别提高了23.2%、0.6%和8%。与现有的基线方法相比，该框架能够生成更加准确和相关的回复，尤其是在处理与老年人相关的问题时。人工评估也表明，该框架能够增强老年用户的参与度和信任。

🎯 应用场景

该研究成果可应用于各种人机交互场景，例如智能家居、医疗辅助、教育辅导等。特别是在老年人关怀领域，该技术能够帮助机器人更好地理解老年人的需求，提供个性化的陪伴和支持，从而提高老年人的生活质量。未来，该技术有望进一步发展，实现更加自然和流畅的人机交互。

📄 摘要（原文）

Personalization in social robotics is critical for fostering effective human-robot interactions, yet systems often face the cold start problem, where initial user preferences or characteristics are unavailable. This paper proposes a novel framework called USER-LLM R1 for a user-aware conversational agent that addresses this challenge through dynamic user profiling and model initiation. Our approach integrates chain-of-thought (CoT) reasoning models to iteratively infer user preferences and vision-language models (VLMs) to initialize user profiles from multimodal inputs, enabling personalized interactions from the first encounter. Leveraging a Retrieval-Augmented Generation (RAG) architecture, the system dynamically refines user representations within an inherent CoT process, ensuring contextually relevant and adaptive responses. Evaluations on the ElderlyTech-VQA Bench demonstrate significant improvements in ROUGE-1 (+23.2%), ROUGE-2 (+0.6%), and ROUGE-L (+8%) F1 scores over state-of-the-art baselines, with ablation studies underscoring the impact of reasoning model size on performance. Human evaluations further validate the framework's efficacy, particularly for elderly users, where tailored responses enhance engagement and trust. Ethical considerations, including privacy preservation and bias mitigation, are rigorously discussed and addressed to ensure responsible deployment.