Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
作者: Zahraa Al Sahili, Ioannis Patras, Matthew Purver
分类: cs.CL, cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出推理引导翻译框架以解决多语言安全性和推理评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言评估 推理引导翻译 大型语言模型 安全性评估 数学推理 对话系统 任务感知验证
📋 核心要点
- 现有的多语言评估方法主要集中在英语，导致对其他语言的安全性和推理能力评估不足。
- 提出的推理引导翻译框架通过分离翻译策略选择与生成过程，旨在保留任务特定的结构和意义。
- 实验结果显示，开源LLMs在不同语言中存在明显的语言依赖性脆弱性，尤其是在资源较少的语言中推理能力显著下降。
📝 摘要（中文）
大型语言模型（LLMs）在多语言环境中的应用日益增加，但其安全性和推理能力的评估主要集中在英语上。通过翻译现有基准测试提供了一种可扩展的多语言评估方法，但在不同语言间保持任务特定意义面临重大挑战。本文提出了一种推理引导翻译框架，用于构建旨在保留多样基准任务结构和意图的多语言评估。该方法将翻译策略选择与大规模生成分离，结合推理引导的配置选择、任务感知的验证、针对性修复和独立质量筛选。利用该框架，我们开发了一个跨越11种语言的源对齐评估集合，涵盖七个安全性、对话和数学推理资源。该集合在需要修复的两个子集中实现了99.94%的意图项-语言对覆盖率。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多语言环境中的安全性和推理能力评估问题，现有方法在翻译过程中难以保持任务特定的意义，尤其是在处理有害请求和数学推理时。
核心思路：提出的推理引导翻译框架通过推理引导的配置选择和任务感知的验证，确保翻译过程中的结构和意图得以保留，从而提高多语言评估的有效性。
技术框架：该框架包括多个主要模块：推理引导的配置选择、任务感知的验证、针对性修复和独立质量筛选，形成一个完整的多语言评估流程。
关键创新：最重要的创新在于将翻译策略选择与生成过程分离，结合推理引导的配置选择，使得翻译结果更符合任务要求，显著提升了多语言评估的质量。
关键设计：在设计过程中，采用了任务感知的验证机制和独立的质量筛选流程，确保翻译结果的准确性和一致性，同时针对需要修复的项进行了细致的质量控制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用该框架开发的评估集合在需要修复的两个子集中实现了99.94%的意图项-语言对覆盖率。此外，评估显示开源LLMs在不同语言中存在明显的脆弱性，尤其是在资源较少的语言中推理能力显著下降，强调了任务敏感基准构建的重要性。
🎯 应用场景
该研究的潜在应用领域包括多语言大型语言模型的安全性评估、跨语言对话系统的优化以及数学推理能力的提升。通过构建更为准确的多语言评估基准，可以帮助开发者更好地理解和改进模型在不同语言环境下的表现，推动多语言AI技术的进步。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed across languages, yet their safety and reasoning capabilities remain predominantly evaluated in English. Translating existing benchmarks offers a scalable approach to multilingual evaluation, but preserving task-specific meaning across languages presents significant challenges, particularly for harmful requests, mathematical reasoning, and conversational interactions. We introduce a reasoning-guided translation framework for constructing multilingual evaluations designed to preserve the structure and intended meaning of diverse benchmark tasks. Our approach separates translation strategy selection from large-scale generation, combining reasoning-guided configuration selection with task-aware validation, targeted repair, and independent quality screening. Using this framework, we develop a source-aligned evaluation collection spanning seven safety, conversational, and mathematical reasoning resources across 11 languages. The resulting collection achieves 99.94\% coverage of intended item--language pairs in the two subsets requiring repair. Evaluations of open-source LLMs reveal distinct language-dependent vulnerabilities, including inconsistent refusal behaviour and substantial reasoning degradation in lower-resource languages. These findings highlight the importance of task-sensitive benchmark construction and systematic quality assessment for understanding multilingual model behaviour beyond English.