SLIM-RAFT: A Novel Fine-Tuning Approach to Improve Cross-Linguistic Performance for Mercosur Common Nomenclature

📄 arXiv: 2408.03936v1 📥 PDF

作者: Vinícius Di Oliveira, Yuri Façanha Bezerra, Li Weigang, Pedro Carvalho Brom, Victor Rafael R. Celestino

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-08-07

备注: 13 pages, 1 figure, to be publish in International Conference on Web Information Systems and Technologies - WEBIST 2024 proceedings

💡 一句话要点

提出SLIM-RAFT，提升LLM在Mercosur通用命名规范跨语言任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 大型语言模型 微调 跨语言 商品分类 检索增强微调 思维链 南方共同市场通用命名规范

📋 核心要点

  1. 现有LLM在英语以外的语言，尤其是在特定领域（如NCM）的应用中，性能仍有不足。
  2. 提出SLIM-RAFT，一种简化的检索增强微调技术，利用CoT进行提示开发，并使用简短集中的文档进行训练。
  3. 实验表明，SLIM-RAFT能高效且经济地微调小型LLM，并在NCM任务中显著优于TeenyTineLLaMA和ChatGPT-4。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展。然而，对于英语以外的语言，尤其是在特定领域（如南方共同市场通用命名规范（NCM）的应用，一种巴西协调系统（HS））中，仍需要大幅改进。为了解决这一差距，本研究使用葡萄牙语LLM TeenyTineLLaMA作为LLM源来实现NCM应用处理。此外，提出了一种简化的检索增强微调（RAFT）技术，称为SLIM-RAFT，用于LLMs的任务特定微调。该方法保留了思维链（CoT）方法，以更简洁和精简的方式进行提示开发，并利用简短而集中的文档进行训练。所提出的模型展示了一种高效且经济高效的微调小型LLMs的替代方案，在同一任务中显著优于TeenyTineLLaMA和ChatGPT-4。虽然该研究侧重于NCM应用，但该方法可以很容易地适用于全球的HS应用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在处理非英语语言，特别是南方共同市场通用命名规范（NCM）这类特定领域任务时，性能不足的问题。现有方法，如直接使用预训练LLM或传统的微调方法，无法充分利用NCM领域的专业知识，导致准确率较低，且计算成本较高。

核心思路：论文的核心思路是提出一种简化的检索增强微调（RAFT）方法，称为SLIM-RAFT。该方法通过结合思维链（CoT）提示和精简的训练数据，使小型LLM能够更有效地学习NCM领域的知识，从而提高其在该任务上的性能。这种方法旨在降低计算成本，并提高微调效率。

技术框架：SLIM-RAFT的技术框架主要包括以下几个阶段：1) 使用TeenyTineLLaMA作为基础LLM；2) 构建包含NCM相关信息的简短文档集；3) 使用CoT方法设计提示，引导LLM进行推理；4) 使用SLIM-RAFT方法对LLM进行微调，利用简短文档集和CoT提示进行训练。

关键创新：SLIM-RAFT的关键创新在于其简化和高效的微调策略。与传统的RAFT方法相比，SLIM-RAFT更加注重利用精简的训练数据和CoT提示，从而降低了计算成本，并提高了微调效率。此外，SLIM-RAFT针对小型LLM进行了优化，使其能够在资源有限的情况下获得较好的性能。

关键设计：SLIM-RAFT的关键设计包括：1) 使用TeenyTineLLaMA，一个专门为葡萄牙语设计的LLM，作为基础模型；2) 构建包含NCM相关信息的简短文档集，这些文档经过精心挑选，以确保其信息密度和相关性；3) 使用CoT方法设计提示，引导LLM进行推理，并提供清晰的解释；4) 使用交叉熵损失函数对LLM进行微调，优化模型在NCM任务上的性能。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SLIM-RAFT在NCM任务中显著优于TeenyTineLLaMA和ChatGPT-4，证明了其在微调小型LLM方面的有效性。具体性能数据和提升幅度未在摘要中明确给出，属于未知信息。但结论强调了SLIM-RAFT作为一种高效且经济的微调替代方案的优势。

🎯 应用场景

该研究成果可广泛应用于商品分类、国际贸易、海关监管等领域。通过提高NCM分类的准确性和效率，可以降低贸易成本，促进国际贸易的便利化。此外，该方法还可以推广到其他协调系统（HS）的应用中，具有重要的实际价值和广泛的应用前景。未来，该方法可以进一步应用于其他语言和领域，为全球贸易提供更智能化的解决方案。

📄 摘要（原文）

Natural language processing (NLP) has seen significant advancements with the advent of large language models (LLMs). However, substantial improvements are still needed for languages other than English, especially for specific domains like the applications of Mercosur Common Nomenclature (NCM), a Brazilian Harmonized System (HS). To address this gap, this study uses TeenyTineLLaMA, a foundational Portuguese LLM, as an LLM source to implement the NCM application processing. Additionally, a simplified Retrieval-Augmented Fine-Tuning (RAFT) technique, termed SLIM-RAFT, is proposed for task-specific fine-tuning of LLMs. This approach retains the chain-of-thought (CoT) methodology for prompt development in a more concise and streamlined manner, utilizing brief and focused documents for training. The proposed model demonstrates an efficient and cost-effective alternative for fine-tuning smaller LLMs, significantly outperforming TeenyTineLLaMA and ChatGPT-4 in the same task. Although the research focuses on NCM applications, the methodology can be easily adapted for HS applications worldwide.