VEPO: Variable Entropy Policy Optimization for Low-Resource Language Foundation Models

📄 arXiv: 2603.19152v1 📥 PDF

作者: Chonghan Liu, Yimin Du, Qi An, Xin He, Cunqi Zhai, Fei Tan, Weijia Lin, Xiaochun Gong, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang

分类: cs.CL, cs.AI

发布日期: 2026-03-19

备注: 23 pages. Includes figures and tables. Conference submission

💡 一句话要点

提出VEPO，通过强化学习优化低资源语言大模型的翻译质量与token化效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源语言 机器翻译 强化学习 策略优化 可变熵 结构约束 语言模型

📋 核心要点

  1. 低资源语言大模型面临子词分割低效和训练数据不平衡的挑战，导致性能不佳。
  2. VEPO利用强化学习和可验证奖励，在训练中强制执行序列长度、格式一致性和语言规范性等结构约束。
  3. 实验表明，VEPO显著提升了低资源语言的token化效率和翻译质量，缩小了性能差距。

📝 摘要（中文）

大型语言模型在低资源语言上的表现通常欠佳，这主要是由于低效的子词分割和系统性的训练数据不平衡所致。本文提出了一种名为可变熵策略优化（VEPO）的方法，该方法利用具有可验证奖励的强化学习，将确定性的结构约束纳入策略对齐过程中。该框架确保了预定的序列长度、强大的格式一致性和严格的语言规范性，所有这些都在训练期间强制执行。我们方法的核心是一种可变熵机制，它通过调节探索-利用流形，使模型能够动态地校准字面保真度和语义自然度之间的平衡。通过将熵调整后的优势估计与非对称裁剪相结合，VEPO在减轻策略崩溃的同时保持了强大的探索能力。在90个FLORES-200、COMET-22、chrF方向上的实证评估表明，VEPO在token化效率和翻译质量方面都产生了显著的改进，缩小了代表性不足语言的性能差距。

🔬 方法详解

问题定义：低资源语言的大型语言模型由于训练数据稀缺和子词分割效率低下，导致翻译质量和语言生成能力受限。现有方法难以在保证语言规范性的同时，有效利用有限的训练数据，并且容易出现过拟合和策略崩溃等问题。

核心思路：VEPO的核心在于利用强化学习，将语言结构约束和翻译质量作为奖励信号，引导模型学习更有效的策略。通过可变熵机制，动态平衡探索和利用，避免模型陷入局部最优。同时，通过可验证奖励，确保模型生成的文本满足预定的结构约束，如序列长度和格式一致性。

技术框架：VEPO框架主要包含以下几个模块：1) 策略网络：负责生成翻译或文本序列。2) 奖励函数：基于翻译质量（如COMET评分）和语言结构约束（如序列长度、格式一致性）计算奖励。3) 强化学习算法：使用策略梯度方法更新策略网络，目标是最大化累积奖励。4) 可变熵机制：动态调整策略的熵值，平衡探索和利用。5) 非对称裁剪：防止策略梯度过大，避免策略崩溃。

关键创新：VEPO的关键创新在于：1) 将强化学习与结构约束相结合，有效利用有限的训练数据。2) 引入可变熵机制，动态平衡探索和利用，提高模型的泛化能力。3) 使用可验证奖励，确保模型生成的文本满足预定的结构约束。4) 采用非对称裁剪，稳定训练过程，避免策略崩溃。

关键设计：VEPO的关键设计包括：1) 奖励函数的设计：综合考虑翻译质量和语言结构约束，并进行归一化处理。2) 可变熵的调整策略：根据训练进度和模型性能动态调整熵值。3) 非对称裁剪的阈值设置：根据经验和实验结果设置合适的裁剪阈值。4) 策略网络的结构选择：可以使用Transformer或其他适合序列生成的网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VEPO在90个FLORES-200、COMET-22和chrF翻译方向上进行了评估，实验结果表明，VEPO在token化效率和翻译质量方面都取得了显著的提升，有效缩小了低资源语言与高资源语言之间的性能差距。具体性能提升数据未知，但摘要强调了“substantial improvements”。

🎯 应用场景

VEPO可应用于低资源语言的机器翻译、文本生成、语音识别等领域。该方法能够有效提升低资源语言模型的性能，促进跨语言交流和信息共享，具有重要的社会和经济价值。未来，VEPO可以扩展到其他资源受限的任务中，例如小样本学习和零样本学习。

📄 摘要（原文）

Large language models frequently exhibit suboptimal performance on low resource languages, primarily due to inefficient subword segmentation and systemic training data imbalances. In this paper, we propose Variable Entropy Policy Optimization (VEPO), which leverages Reinforcement Learning with Verifiable Rewards to incorporate deterministic structural constraints into the policy alignment process. This framework ensures prescribed sequence length, robust format consistency, and rigorous linguistic well formedness, all enforced during training. Central to our approach is a variable entropy mechanism that enables the model to dynamically calibrate the equilibrium between literal fidelity and semantic naturalness by modulating the exploration exploitation manifold. By integrating entropy tempered advantage estimation with asymmetric clipping, VEPO sustains robust exploration while mitigating policy collapse. Empirical evaluations across 90 FLORES-200, COMET-22, chrF directions demonstrate that VEPO yields substantial improvements in both tokenization efficiency and translation quality, bridging the performance gap for underrepresented languages.