Reverse Modeling in Large Language Models

📄 arXiv: 2410.09817v2 📥 PDF

作者: Sicheng Yu, Yuanchen Xu, Cunxiao Du, Yanying Zhou, Minghui Qiu, Qianru Sun, Hao Zhang, Jiawei Wu

分类: cs.CL

发布日期: 2024-10-13 (更新: 2025-02-23)

备注: NAACL 2025 Camera-ready Version

💡 一句话要点

揭示大语言模型逆向建模难题，提出基于损失差异的数据选择方法显著提升性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 逆向建模 数据选择 持续预训练 损失差异

📋 核心要点

  1. 现有自回归LLM在文本理解方面存在天然的正向偏差，对逆向文本的理解能力较弱。
  2. 论文提出一种基于正向和逆向文本损失差异的数据选择方法，用于持续预训练，提升LLM的逆向建模能力。
  3. 实验结果表明，使用该方法选择的数据进行持续预训练，能够显著提升LLM在多个语言理解基准上的性能。

📝 摘要（中文）

本文研究了自回归大语言模型（LLM）在逆向文本输入下的建模能力，即逆向建模。研究发现，公开可用的预训练LLM无法理解逆向文本。然而，从头开始训练的LLM，若同时使用正向和逆向文本进行训练，则在推理阶段能够同等程度地理解两者。案例研究表明，不同内容的文本在不同方向输入LLM时会导致不同的损失，一些文本正向输入损失较低，另一些则逆向输入损失较低。据此，本文提出了一种基于正向和逆向方向损失差异的数据选择方法。通过使用选择的数据进行持续预训练，可以显著提升LLM在不同语言理解基准上的性能。

🔬 方法详解

问题定义：现有的大语言模型（LLM）在训练时主要接触的是正向文本，导致其在处理逆向文本时表现不佳，即缺乏逆向建模能力。这种能力缺失限制了LLM在某些需要理解逆向信息的任务中的应用。现有方法没有充分考虑LLM对不同方向文本的理解差异，导致训练数据利用率不高。

核心思路：论文的核心思路是利用LLM在处理正向和逆向文本时产生的损失差异来选择更有价值的数据进行持续预训练。如果一个文本在正向输入时损失较低，说明LLM已经较好地掌握了该文本的信息；反之，如果逆向输入时损失较低，则说明LLM更擅长理解该文本的逆向表达。通过选择那些在正向和逆向输入时损失差异较大的文本，可以更有针对性地提升LLM的逆向建模能力。

技术框架：整体框架包括以下几个阶段：1) 使用正向和逆向文本输入预训练的LLM，计算每个文本的正向损失和逆向损失。2) 计算每个文本的正向损失和逆向损失的差异。3) 根据损失差异的大小，选择一部分数据用于持续预训练。4) 使用选择的数据对LLM进行持续预训练，提升其在各种语言理解任务上的性能。

关键创新：该论文的关键创新在于提出了一种基于正向和逆向损失差异的数据选择方法。与传统的随机数据选择或基于数据复杂度的选择方法不同，该方法能够更有效地选择那些能够提升LLM逆向建模能力的数据。这种方法充分利用了LLM自身对不同方向文本的理解差异，从而实现了更高效的训练。

关键设计：关键设计包括：1) 如何定义正向和逆向损失的差异（例如，可以使用绝对值或相对差异）。2) 如何选择合适的数据比例用于持续预训练（例如，可以选择损失差异最大的前N%的数据）。3) 持续预训练时使用的学习率、batch size等超参数的设置。此外，论文可能还探索了不同的损失函数或网络结构，以进一步提升LLM的逆向建模能力（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用基于损失差异选择的数据进行持续预训练，能够显著提升LLM在多个语言理解基准上的性能。具体提升幅度未知，但摘要中提到是“a large margin”，表明提升效果显著。该方法在不同语言上均有效，表明其具有较好的跨语言泛化能力。

🎯 应用场景

该研究成果可应用于提升LLM在需要理解逆向信息的任务中的性能，例如代码逆向工程、文本混淆检测、以及一些需要处理非典型语序的自然语言处理任务。此外，该方法也为提升LLM的数据利用率提供了新的思路，有助于降低训练成本，并提升模型在各种语言理解任务上的泛化能力。

📄 摘要（原文）

Humans are accustomed to reading and writing in a forward manner, and this natural bias extends to text understanding in auto-regressive large language models (LLMs). This paper investigates whether LLMs, like humans, struggle with reverse modeling, specifically with reversed text inputs. We found that publicly available pre-trained LLMs cannot understand such inputs. However, LLMs trained from scratch with both forward and reverse texts can understand them equally well during inference across multiple languages. Our case study shows that different-content texts result in different losses if input (to LLMs) in different directions -- some get lower losses for forward while some for reverse. This leads us to a simple and nice solution for data selection based on the loss differences between forward and reverse directions. Using our selected data in continued pretraining can boost LLMs' performance by a large margin across different language understanding benchmarks.