ABench: Adversarily Benchmarking Large Language Models across Taxonomized Values
作者: Liping Yang, Yongqi Leng, Jingting Zheng, Yuqi Ren, Shaolin Zhu, Deyi Xiong
分类: cs.CL, cs.AI
发布日期: 2026-10-20
备注: Accepted to EMNLP 2026 (Main Conference). 16 pages, 6 figures, 7 tables
💡 一句话要点
提出ABench以解决大型语言模型文化价值对齐问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文化价值对齐 对抗性测试 细粒度基准 中文处理
📋 核心要点
- 现有的对齐基准主要集中于英语，且未能有效评估模型在复杂文化背景下的鲁棒性。
- 提出ABench，一个针对中文分类价值的细粒度手工基准，包含2895个开放式问题，采用对抗性诱导技术。
- 实验结果显示，16个主流LLMs在复杂对抗攻击下表现脆弱，得分普遍低于60，强调了文化特定对齐策略的必要性。
📝 摘要（中文）
确保大型语言模型（LLMs）与多样文化价值的对齐对于其安全的全球部署至关重要。然而，现有的对齐基准主要集中于英语或简单的判别任务，且未能有效评估模型在特定文化背景下的复杂对抗性诱导下的鲁棒性。为了解决这些局限性，我们提出了ABench，这是一个专门针对中文分类价值的细粒度手工基准。ABench基于158个衍生价值子类别的严格层次分类法，包含2895个开放式问题，采用角色扮演和逻辑陷阱等技术来探测模型在对抗性诱导背景下的立场稳定性。此外，我们提出了一种加权自动评估框架，利用特定问题的评分标准进行细致评估。对16个主流LLMs的广泛实验表明，大多数模型在价值的复杂对抗攻击下表现出显著脆弱性（得分低于60），这突显了更强大、文化特定的对齐策略的必要性。我们的数据将公开发布，以促进对分类价值对齐的进一步研究。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在多样文化价值对齐方面的不足，现有方法多集中于简单任务，缺乏对复杂文化背景的评估。
核心思路：提出ABench，通过细粒度的手工基准和对抗性诱导技术，深入探测模型在特定文化价值下的表现。
技术框架：ABench基于158个价值子类别的层次分类法，包含2895个开放式问题，采用角色扮演和逻辑陷阱等技术，结合加权自动评估框架进行评分。
关键创新：ABench的创新在于其细粒度的分类和对抗性诱导设计，使得评估更具文化特定性，超越了现有的简单判别任务。
关键设计：在设计中，采用了问题特定的评分标准，确保评估的细致性和准确性，同时引入了角色扮演和逻辑陷阱等技术以增强对抗性测试的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，16个主流大型语言模型在面对复杂的对抗性攻击时，得分普遍低于60，表明其在文化价值对齐方面存在显著脆弱性。这一发现强调了开发更强大、文化特定的对齐策略的迫切需求。
🎯 应用场景
该研究的潜在应用领域包括跨文化的人工智能系统开发、社会机器人、以及多语言对话系统等。通过提供一个文化特定的对齐基准，ABench能够帮助研究者和开发者更好地理解和应对不同文化背景下的语言模型表现，从而提升其在全球范围内的安全性和有效性。
📄 摘要（原文）
Ensuring the alignment of Large Language Models (LLMs) with diverse cultural values is critical for their safe global deployment. However, existing alignment benchmarks are predominantly English-centric or confined to simple discriminative tasks. Moreover, they often fail to effectively evaluate model robustness against complex, adversarial inductions within specific cultural contexts. To address these limitations, we propose ABench, a fine-grained, handcrafted benchmark specifically tailored to taxonomized values in Chinese. Grounded in a rigorous hierarchical taxonomy comprising 158 derived value subcategories, ABench consists of 2,895 open-ended questions. These questions employ techniques such as role-playing and logical traps to probe the stability of models' stances in adversarially induced contexts. Furthermore, we propose a weighted automated evaluation framework that utilizes question-specific scoring criteria for nuanced assessment. Extensive experiments on 16 mainstream LLMs reveal that most models exhibit significant vulnerabilities when subjected to sophisticated adversary attacks on values (scoring below 60). This underscores the need for more robust, culturally specific alignment strategies. Our data will be publicly released to promote further research on taxonomized value alignment.