Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge
作者: Bruno Leonardo Santos Menezes, Carlos Leonardo Souza Cardoso, Fabio André Machado Porto
分类: cs.CL
发布日期: 2026-10-14
💡 一句话要点
提出Manacá-1B-Instruct-2以解决巴西葡萄牙语LLM安全对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 巴西葡萄牙语 语言模型 安全对齐 后训练对齐 DPO尝试 模型评估 开源模型
📋 核心要点
- 现有的巴西葡萄牙语语言模型在安全对齐方面存在不足，缺乏有效的文档记录和统计验证。
- 提出Manacá-1B-Instruct-2，通过专用安全SFT和多次迭代优化，提升模型的安全性和实用性。
- 最终模型在安全性评估中表现优异，安全区间下限高于所有基线模型，显示出显著的提升。
📝 摘要（中文）
巴西葡萄牙语在开源语言模型中仍然处于服务不足的状态，现有的安全对齐模型往往缺乏有效的文档记录和统计显著性验证。本文提出Manacá-1B-Instruct-2，这是Manacá-1B的第二代后训练对齐模型，包含291,223个示例的SFT语料库。我们记录了三次DPO尝试，均未成功，并展示了安全性来自于经过三次迭代的专用安全SFT。最终模型在安全性上超越了四个外部基线模型，安全区间的下限为94.1%。此外，我们还发现LLM评估中的一种方法论问题，评估者在某些情况下拒绝评分，影响了有效样本数。
🔬 方法详解
问题定义：本研究旨在解决巴西葡萄牙语开源语言模型在安全对齐方面的不足，现有模型缺乏有效的文档和统计验证，导致安全性无法得到保障。
核心思路：论文提出的核心思路是通过后训练对齐和专用安全SFT的多次迭代来提升模型的安全性，确保模型在生成内容时能够遵循安全标准。
技术框架：整体架构包括数据收集、模型训练、DPO尝试和安全性评估四个主要模块。首先收集291,223个示例构建SFT语料库，然后进行模型训练和DPO尝试，最后通过对比评估模型的安全性。
关键创新：最重要的创新点在于通过专用安全SFT的多次迭代来优化模型的安全性，并且记录了DPO尝试的负面结果，为后续研究提供了重要的参考。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，确保安全性与实用性之间的平衡，同时进行了n-gram去污染检查和计算预算表的设计，以分析模型能力与对齐方法之间的差距。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Manacá-1B-Instruct-2在安全性评估中表现优异，其安全区间下限为94.1%，高于所有四个基线模型的上限。此外，研究还揭示了LLM评估中的方法论问题，影响了有效样本数的统计，提供了重要的研究启示。
🎯 应用场景
该研究的潜在应用场景包括教育、社交媒体内容生成和客户服务等领域，能够为巴西葡萄牙语用户提供更安全、更可靠的语言模型支持。未来，该模型的设计理念和方法论也可推广至其他语言的模型开发中，促进多语言模型的安全性提升。
📄 摘要（原文）
Brazilian Portuguese remains underserved by open-source language models, and the few that are safety-aligned rarely document what did not work or validate comparisons with statistical significance. We present Manacá-1B-Instruct-2, the second-generation post-training alignment of Manacá-1B (1.72B parameters, trained from scratch for PT-BR), with an SFT corpus of 291,223 examples. We document three DPO attempts, all negative, including a case where the training reward margin reaches 1.0 while free generation does not change at all, and show that safety came from a dedicated safety-SFT (LLM-jp AnswerCarefully style), refined over three iterations until closing the safety-helpfulness frontier. A controlled scan of the fraction of general data in the safety-SFT mix (10% to 60%) reveals a non-monotonic over-refusal curve with a knee point at 40-50%. The final model is compared against four external PT-BR models on the same items, with Wilson confidence intervals and paired McNemar tests with Holm-Bonferroni correction: the lower bound of its safety interval (94.1%) lies above the upper bound of all four baselines. We also report a methodological finding for LLM-judge evaluation: on two of six safety items in MT-Bench-PT, the judge categorically refuses to assign a score regardless of the evaluated response, silently reducing the effective N of that category in every prior report of the project. We complement this with an n-gram decontamination check and a Chinchilla-anchored compute-budget table that attributes the gap in general capability to pre-training scale rather than alignment methodology. All code, raw data, logs, and scripts that produce every reported number are publicly released.