Evaluating Cultural and Social Awareness of LLM Web Agents

📄 arXiv: 2410.23252v3 📥 PDF

作者: Haoyi Qiu, Alexander R. Fabbri, Divyansh Agarwal, Kung-Hsiang Huang, Sarah Tan, Nanyun Peng, Chien-Sheng Wu

分类: cs.CL

发布日期: 2024-10-30 (更新: 2025-03-08)

备注: NAACL 2025 Findings

💡 一句话要点

CASA：评估LLM Web Agent文化和社会意识的基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 文化意识 社会意识 基准测试 在线购物 社交论坛 提示学习 微调

📋 核心要点

  1. 现有LLM Agent评估benchmark缺乏对文化和社会意识的考量，限制了其在真实世界场景中的可靠应用。
  2. CASA基准测试通过在线购物和社交论坛任务，评估LLM Agent对文化和社会规范的理解和应对能力。
  3. 实验表明，现有LLM Agent在文化和社会意识方面表现不佳，通过提示和微调可以有效提升其性能。

📝 摘要（中文）

随着大型语言模型（LLMs）扩展到传统NLP任务之外的真实世界应用，评估其鲁棒性变得越来越重要。然而，现有的基准测试通常忽略了文化和社会意识等关键维度。为了解决这些问题，我们引入了CASA，这是一个旨在评估LLM Agent在两个基于Web的任务（在线购物和社交论坛）中对文化和社会规范的敏感性的基准。我们的方法评估LLM Agent检测并适当响应违反规范的用户查询和观察的能力。此外，我们提出了一个全面的评估框架，用于衡量意识覆盖率、管理用户查询的帮助性以及面对误导性Web内容时的违规率。实验表明，当前的LLM在非Agent环境中的表现明显优于基于Web的Agent环境，Agent的意识覆盖率低于10%，违规率超过40%。为了提高性能，我们探索了两种方法：提示和微调，并发现结合这两种方法可以提供互补的优势——在特定文化的语料库上进行微调可以显著提高Agent在不同地区进行泛化的能力，而提示可以提高Agent导航复杂任务的能力。这些发现强调了在开发周期中不断对LLM Agent的文化和社会意识进行基准测试的重要性。

🔬 方法详解

问题定义：论文旨在解决LLM Web Agent在实际应用中缺乏文化和社会意识的问题。现有方法未能充分评估Agent对不同文化和社会规范的敏感性，导致其在处理真实世界任务时可能出现不当行为或错误决策。这种不足限制了LLM Agent在更广泛场景中的应用。

核心思路：论文的核心思路是构建一个专门的基准测试CASA，用于评估LLM Agent在模拟真实Web环境下的文化和社会意识。通过设计特定的任务和评估指标，CASA能够量化Agent对文化和社会规范的理解和应用能力，从而发现Agent的不足并指导改进。

技术框架：CASA基准测试包含两个主要任务：在线购物和社交论坛。在每个任务中，Agent需要处理用户查询、识别潜在的规范违规行为，并做出适当的响应。评估框架包括三个关键指标：意识覆盖率（Agent识别规范违规行为的能力）、帮助性（Agent在管理用户查询方面的有效性）和违规率（Agent自身违反规范的频率）。

关键创新：CASA的关键创新在于其专注于评估LLM Agent的文化和社会意识，这在现有benchmark中相对较少。此外，CASA还提出了一个全面的评估框架，能够从多个维度量化Agent的性能。通过在线购物和社交论坛这两个具有代表性的Web任务，CASA能够更真实地反映Agent在实际应用中的表现。

关键设计：论文探索了两种提高Agent性能的方法：提示（Prompting）和微调（Fine-tuning）。提示是指通过在输入中加入特定的指令或上下文信息，引导Agent做出更符合规范的响应。微调是指使用特定文化的语料库对Agent进行训练，使其更好地理解和适应不同文化背景下的规范。实验结果表明，结合提示和微调可以取得更好的效果，其中微调能够提高Agent的泛化能力，而提示能够增强Agent处理复杂任务的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM Agent在CASA基准测试中的表现不佳，意识覆盖率低于10%，违规率超过40%。通过结合提示和微调，Agent的性能得到了显著提升。具体而言，在特定文化语料库上进行微调可以显著提高Agent在不同地区进行泛化的能力，而提示可以提高Agent导航复杂任务的能力。这些结果表明，文化和社会意识是LLM Agent开发中需要重点关注的方面。

🎯 应用场景

该研究成果可应用于开发更具文化和社会意识的LLM Agent，使其能够在各种真实世界场景中安全、有效地运行。例如，在跨文化电商平台中，Agent可以更好地理解不同文化背景下的用户需求，提供个性化的服务。在社交媒体管理中，Agent可以识别和处理违反社区规范的内容，维护健康的讨论环境。未来，该研究可以扩展到更多领域，例如医疗、教育等，促进LLM Agent在各个行业的广泛应用。

📄 摘要（原文）

As large language models (LLMs) expand into performing as agents for real-world applications beyond traditional NLP tasks, evaluating their robustness becomes increasingly important. However, existing benchmarks often overlook critical dimensions like cultural and social awareness. To address these, we introduce CASA, a benchmark designed to assess LLM agents' sensitivity to cultural and social norms across two web-based tasks: online shopping and social discussion forums. Our approach evaluates LLM agents' ability to detect and appropriately respond to norm-violating user queries and observations. Furthermore, we propose a comprehensive evaluation framework that measures awareness coverage, helpfulness in managing user queries, and the violation rate when facing misleading web content. Experiments show that current LLMs perform significantly better in non-agent than in web-based agent environments, with agents achieving less than 10% awareness coverage and over 40% violation rates. To improve performance, we explore two methods: prompting and fine-tuning, and find that combining both methods can offer complementary advantages -- fine-tuning on culture-specific datasets significantly enhances the agents' ability to generalize across different regions, while prompting boosts the agents' ability to navigate complex tasks. These findings highlight the importance of constantly benchmarking LLM agents' cultural and social awareness during the development cycle.