Adapting Large Language Models for Character-based Augmentative and Alternative Communication

📄 arXiv: 2501.10582v3 📥 PDF

作者: Dylan Gaines, Keith Vertanen

分类: cs.CL, cs.HC

发布日期: 2025-01-17 (更新: 2025-10-02)

备注: To appear in Findings of EMNLP 2025

💡 一句话要点

提出一种基于Subword LLM的字符预测方法，提升AAC场景下的文本生成效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增强和替代沟通 大语言模型 字符预测 领域自适应 子词模型

📋 核心要点

  1. 现有的增强和替代沟通（AAC）系统依赖于字符语言模型，但主流LLM预测子词，导致字符预测精度不足。
  2. 论文提出一种从子词LLM生成字符预测的算法，旨在更准确地预测AAC系统中的下一个字符。
  3. 实验表明，该算法优于传统方法，并通过领域自适应进一步提升了模型在会话文本上的性能。

📝 摘要（中文）

本文研究如何利用先进的预训练大语言模型（LLM）为基于字符的增强和替代沟通（AAC）系统提供准确高效的字符预测。针对现有LLM主要预测变长子词token的问题，本文提出了一种算法，用于从子词LLM生成字符预测，该算法比分类层、字节级LLM或n-gram模型更准确。此外，本文还研究了一种领域自适应程序，该程序基于一个大型数据集，该数据集通过评估每个句子对于口语或书面AAC沟通的有用性进行整理。研究发现，该程序进一步提高了模型在简单会话文本上的性能。

🔬 方法详解

问题定义：论文旨在解决增强和替代沟通（AAC）用户在使用字符输入法时，如何利用现有的大型预训练语言模型（LLM）来提高字符预测的准确性和效率的问题。现有的LLM通常预测子词（subword）而非单个字符，直接应用会导致性能下降，而训练专门的字符级LLM成本高昂。

核心思路：论文的核心思路是利用现有的、预训练好的子词LLM，通过一种特定的算法将其输出转换为字符预测。这种方法避免了从头开始训练字符级LLM的需要，同时能够利用大型LLM的强大语言建模能力。此外，论文还通过领域自适应，使模型更好地适应AAC场景下的文本特征。

技术框架：整体框架包括以下几个主要步骤：1) 使用预训练的子词LLM对输入序列进行编码；2) 设计算法将LLM的子词预测转换为字符预测；3) 使用AAC领域相关的数据集对模型进行领域自适应微调。该框架的核心在于子词到字符的转换算法以及领域自适应策略。

关键创新：最重要的技术创新点在于从子词LLM生成字符预测的算法。该算法能够有效地利用子词LLM的上下文信息，并将其转化为准确的字符预测。与直接使用分类层或字节级LLM相比，该算法能够更好地利用预训练模型的知识。

关键设计：论文的关键设计包括：1) 子词到字符转换算法的具体实现细节，例如如何处理子词边界和概率分布；2) 领域自适应数据集的构建方法，如何评估句子对于AAC沟通的有用性；3) 领域自适应微调的具体策略，例如学习率的选择和训练轮数。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，提出的基于子词LLM的字符预测算法优于传统的n-gram模型、分类层方法和字节级LLM。通过领域自适应，模型在简单会话文本上的性能得到了进一步提升。具体的性能数据（例如预测准确率或击键次数减少量）在摘要中未明确给出，但强调了相对性能的提升。

🎯 应用场景

该研究成果可应用于各种增强和替代沟通（AAC）设备和软件，帮助残疾人士更高效地进行文本输入和交流。通过提高字符预测的准确性，可以减少用户的击键次数，降低认知负荷，从而改善他们的沟通体验。此外，该方法也可以推广到其他低资源语言或特定领域的文本生成任务中。

📄 摘要（原文）

Users of Augmentative and Alternative Communication (AAC) may write letter-by-letter via an interface that uses a character language model. However, most state-of-the-art large pretrained language models predict subword tokens of variable length. We investigate how to practically use such models to make accurate and efficient character predictions. Our algorithm for producing character predictions from a subword large language model (LLM) provides more accurate predictions than using a classification layer, a byte-level LLM, or an n-gram model. Additionally, we investigate a domain adaptation procedure based on a large dataset of sentences we curated based on scoring how useful each sentence might be for spoken or written AAC communication. We find our procedure further improves model performance on simple, conversational text.