The Problem with Safety Classification is not just the Models

📄 arXiv: 2507.21782v1 📥 PDF

作者: Sowmya Vajjala

分类: cs.CL

发布日期: 2025-07-29

备注: Pre-print, Short paper

💡 一句话要点

揭示多语言安全分类模型及评估数据集的局限性，促进更有效的有害内容识别。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型安全 多语言评估 安全分类模型 有害内容识别 鲁棒性测试

📋 核心要点

  1. 现有大型语言模型安全分类器在多语言环境下表现出明显差异，其有效性评估缺乏充分研究。
  2. 论文核心在于揭示现有安全分类模型及评估数据集在多语言场景下的局限性，而非模型本身。
  3. 通过对18种语言数据集的分析，论文指出了现有安全分类模型在多语言环境下的性能瓶颈。

📝 摘要（中文）

本文探讨了大型语言模型（LLMs）在不安全行为方面的鲁棒性，并指出构建安全分类模型（guard models）是解决该问题的一种方案。尽管针对LLMs安全测试的研究很多，但评估此类安全分类器的有效性，特别是用于测试它们的多语言评估数据集的研究却很少。本文通过考察涵盖18种语言的数据集，展示了5个安全分类模型中存在的多语言差异。同时，指出了评估数据集的潜在问题，认为当前安全分类器的缺点不仅仅是模型本身造成的。期望这些发现能够促进关于开发更好的方法来识别跨语言LLM输入中的有害内容的讨论。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）安全分类器在多语言环境下的有效性问题。现有方法主要集中在模型本身的安全测试，而忽略了对安全分类器及其评估数据集的有效性评估，尤其是在多语言场景下。现有方法的痛点在于缺乏对多语言差异的考虑，导致安全分类器在不同语言环境下的性能表现不一致。

核心思路：论文的核心思路是通过对现有安全分类模型在多语言数据集上的表现进行分析，揭示其在不同语言环境下的性能差异，并指出评估数据集本身可能存在的问题。通过分析模型和数据集两方面的局限性，为开发更有效的多语言安全分类器提供指导。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择现有的安全分类模型；2) 构建包含18种语言的多语言数据集；3) 使用多语言数据集对安全分类模型进行评估；4) 分析评估结果，识别模型在不同语言环境下的性能差异；5) 分析评估数据集，找出可能存在的问题。

关键创新：论文的关键创新在于首次系统性地评估了现有安全分类模型在多语言环境下的有效性，并指出了评估数据集本身可能存在的问题。以往的研究主要集中在模型本身的安全测试，而忽略了对多语言环境的考虑。

关键设计：论文的关键设计包括：1) 选择具有代表性的安全分类模型；2) 构建高质量的多语言数据集，确保数据集的语言覆盖度和内容多样性；3) 使用合适的评估指标，例如准确率、召回率、F1值等，对模型在不同语言环境下的性能进行评估；4) 对评估结果进行深入分析，找出模型在不同语言环境下的性能差异，并分析其原因。

📊 实验亮点

论文通过实验揭示了现有安全分类模型在18种语言数据集上的性能差异，表明模型在不同语言环境下的表现存在显著差异。同时，论文还指出了评估数据集可能存在的问题，例如数据偏差、标注不一致等，这些问题可能导致对模型性能的错误评估。这些发现强调了在多语言环境下评估安全分类模型的重要性，并为改进模型和数据集提供了方向。

🎯 应用场景

该研究成果可应用于提升多语言大型语言模型的安全性，例如在聊天机器人、内容审核、机器翻译等领域。通过改进安全分类模型和评估数据集，可以更有效地识别和过滤有害内容，从而降低LLM被用于恶意目的的风险，并提升用户体验。未来，该研究可以扩展到更多语言和领域，为构建更安全、可靠的LLM系统提供支持。

📄 摘要（原文）

Studying the robustness of Large Language Models (LLMs) to unsafe behaviors is an important topic of research today. Building safety classification models or guard models, which are fine-tuned models for input/output safety classification for LLMs, is seen as one of the solutions to address the issue. Although there is a lot of research on the safety testing of LLMs themselves, there is little research on evaluating the effectiveness of such safety classifiers or the evaluation datasets used for testing them, especially in multilingual scenarios. In this position paper, we demonstrate how multilingual disparities exist in 5 safety classification models by considering datasets covering 18 languages. At the same time, we identify potential issues with the evaluation datasets, arguing that the shortcomings of current safety classifiers are not only because of the models themselves. We expect that these findings will contribute to the discussion on developing better methods to identify harmful content in LLM inputs across languages.