Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation
作者: Ziyu Ge, Gabriel Chua, Leanne Tan, Roy Ka-Wei Lee
分类: cs.CL, cs.AI, cs.CY
发布日期: 2025-07-16
💡 一句话要点
提出一种毒性感知的少样本提示框架，用于低资源Singlish翻译，提升毒性内容翻译质量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 低资源翻译 Singlish 毒性检测 少样本学习 提示工程 语言模型 内容审核
📋 核心要点
- 现有翻译系统难以处理低资源语言和口语中的俚语、代码混合以及有毒言论，尤其是在低资源场景下。
- 该论文提出一个两阶段框架，通过人工验证的少样本提示工程和模型-提示对优化，实现毒性保留的翻译。
- 实验表明，该框架在Singlish翻译任务上有效，并通过支持文化敏感审核，提升了多文化LLM的安全性。
📝 摘要（中文）
随着在线交流中越来越多地使用代表性不足的语言和口语方言，标准的翻译系统常常无法保留当地俚语、代码混合以及文化嵌入的有害言论标记。由于缺乏平行数据和会清理冒犯性表达的安全过滤器，在低资源语言对之间翻译有毒内容带来了额外的挑战。本文提出了一个可复现的两阶段框架，用于保留毒性的翻译，并在代码混合的Singlish安全语料库上进行了演示。首先，我们进行人工验证的少样本提示工程：我们迭代地管理和排序注释者选择的Singlish目标示例，以捕捉细微的俚语、语调和毒性。其次，我们通过直接和反向翻译，使用语义相似性来基准测试几个大型语言模型，从而优化模型-提示对。定量人工评估证实了我们管道的有效性和效率。除了提高翻译质量外，我们的框架还通过支持文化敏感的审核和低资源环境中的基准测试，为多文化LLM的安全性做出了贡献。通过将Singlish定位为包容性NLP的试验台，我们强调了在内容审核和区域平台治理等实际应用中保留社会语言细微差别的必要性。
🔬 方法详解
问题定义：论文旨在解决低资源语言（特别是Singlish）的有毒内容翻译问题。现有翻译系统在处理此类内容时，面临着数据稀缺、俚语和代码混合复杂、以及安全过滤器过度清理等挑战，导致翻译质量下降，甚至丢失了原文中的毒性信息。这对于内容审核和平台治理等应用场景是不利的。
核心思路：论文的核心思路是利用少样本学习，通过精心设计的提示（Prompt）来引导大型语言模型（LLM）进行翻译。关键在于，提示需要包含能够捕捉Singlish俚语、语调和毒性的示例，从而使LLM能够生成既准确又保留毒性的翻译结果。此外，通过优化模型-提示对，进一步提升翻译质量。
技术框架：该框架包含两个主要阶段：1) 人工验证的少样本提示工程：由注释者选择Singlish目标示例，并进行迭代式管理和排序，以捕捉细微的俚语、语调和毒性。2) 模型-提示对优化：通过直接翻译和反向翻译，使用语义相似性指标来评估不同LLM和提示的组合，从而选择最佳的模型-提示对。
关键创新：该论文的关键创新在于将人工干预与少样本学习相结合，通过人工设计的提示来引导LLM进行毒性保留的翻译。与传统的依赖大量平行数据的翻译方法不同，该方法能够在低资源场景下有效工作。此外，通过模型-提示对优化，进一步提升了翻译质量。
关键设计：在少样本提示工程中，关键在于选择具有代表性的Singlish示例，这些示例需要能够涵盖不同的俚语、语调和毒性表达。在模型-提示对优化中，使用了语义相似性指标（具体指标未知）来评估翻译质量。此外，论文还使用了直接翻译和反向翻译两种方法来评估模型-提示对的性能。
🖼️ 关键图片
📊 实验亮点
论文通过人工评估验证了该框架的有效性和效率。具体性能数据未知，但人工评估结果表明，该方法能够显著提高Singlish翻译的质量，并有效地保留原文中的毒性信息。此外，该框架还为多文化LLM的安全性做出了贡献，支持了文化敏感的审核和低资源环境中的基准测试。
🎯 应用场景
该研究成果可应用于在线内容审核、社交媒体平台治理、以及多语言聊天机器人等领域。通过保留翻译中的毒性信息，可以帮助审核人员更好地识别和处理有害内容。此外，该方法还可以用于构建更具文化敏感性的翻译系统，从而促进跨文化交流和理解。未来，该方法可以推广到其他低资源语言和方言的翻译任务中。
📄 摘要（原文）
As online communication increasingly incorporates under-represented languages and colloquial dialects, standard translation systems often fail to preserve local slang, code-mixing, and culturally embedded markers of harmful speech. Translating toxic content between low-resource language pairs poses additional challenges due to scarce parallel data and safety filters that sanitize offensive expressions. In this work, we propose a reproducible, two-stage framework for toxicity-preserving translation, demonstrated on a code-mixed Singlish safety corpus. First, we perform human-verified few-shot prompt engineering: we iteratively curate and rank annotator-selected Singlish-target examples to capture nuanced slang, tone, and toxicity. Second, we optimize model-prompt pairs by benchmarking several large language models using semantic similarity via direct and back-translation. Quantitative human evaluation confirms the effectiveness and efficiency of our pipeline. Beyond improving translation quality, our framework contributes to the safety of multicultural LLMs by supporting culturally sensitive moderation and benchmarking in low-resource contexts. By positioning Singlish as a testbed for inclusive NLP, we underscore the importance of preserving sociolinguistic nuance in real-world applications such as content moderation and regional platform governance.