Towards Trustworthy Lexical Simplification: Exploring Safety and Efficiency with Small LLMs

📄 arXiv: 2509.25086v1 📥 PDF

作者: Akio Hayakawa, Stefan Bott, Horacio Saggion

分类: cs.CL

发布日期: 2025-09-29

💡 一句话要点

提出基于小型LLM的安全高效词汇简化框架，解决隐私和资源约束下的应用难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词汇简化 小型语言模型 知识蒸馏 安全性 有害简化

📋 核心要点

  1. 大型LLM在词汇简化任务中面临隐私和资源限制，难以在实际场景中部署。
  2. 利用小型LLM，结合知识蒸馏和上下文学习，构建高效且可本地部署的词汇简化框架。
  3. 实验表明知识蒸馏虽提升性能，但会引入有害简化，模型输出概率可用于过滤有害简化。

📝 摘要（中文）

大型语言模型（LLM）在词汇简化（LS）的实际应用中面临挑战，尤其是在隐私敏感和资源受限的环境中。此外，由于弱势用户群体（如残疾人）是该技术的主要目标群体之一，因此确保LS系统输出的安全性和正确性至关重要。为了解决这些问题，我们提出了一个高效的LS系统框架，该框架利用可在本地环境中部署的小型LLM。在该框架内，我们探索了使用合成数据的知识蒸馏和上下文学习作为基线。我们在五种语言中的实验对模型输出进行了自动和手动评估。手动分析表明，虽然知识蒸馏提高了自动指标分数，但它也通过增加有害简化引入了安全权衡。重要的是，我们发现模型的输出概率是检测有害简化的有用信号。利用这一点，我们提出了一种过滤策略，该策略在很大程度上保留有益简化的同时抑制有害简化。这项工作为使用小型LLM进行高效和安全的LS建立了一个基准。它强调了性能、效率和安全性之间的关键权衡，并展示了一种用于安全实际部署的有希望的方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在词汇简化（LS）任务中，由于模型体积庞大，难以在隐私敏感和资源受限的环境中部署的问题。现有方法通常依赖于大型模型，这使得它们在实际应用中受到限制，并且难以保证输出的安全性，特别是对于弱势用户群体。

核心思路：论文的核心思路是利用小型语言模型（small LLMs）来实现词汇简化，并通过知识蒸馏和上下文学习等技术来提升小型模型的性能。此外，论文还关注模型输出的安全性，提出了一种基于模型输出概率的过滤策略，以抑制有害简化。

技术框架：该框架包含以下几个主要模块：1) 基于小型LLM的词汇简化模型；2) 使用合成数据进行知识蒸馏的训练流程；3) 基于上下文学习的基线方法；4) 模型输出概率分析模块，用于评估和过滤有害简化。整体流程包括：首先，使用合成数据训练小型LLM；然后，利用上下文学习进行微调；最后，通过模型输出概率过滤有害简化，得到最终的简化结果。

关键创新：该论文的关键创新在于：1) 探索了小型LLM在词汇简化任务中的潜力，并证明了其可行性；2) 提出了一种基于模型输出概率的有害简化过滤策略，有效提升了模型的安全性；3) 系统性地分析了性能、效率和安全性之间的权衡，为实际部署提供了指导。

关键设计：论文中，知识蒸馏使用合成数据，具体生成方式未知。上下文学习的具体prompt设计未知。有害简化过滤策略的关键在于设定合适的概率阈值，该阈值需要根据具体任务和数据集进行调整。损失函数和网络结构等技术细节未在摘要中提及。

📊 实验亮点

实验结果表明，知识蒸馏可以有效提升小型LLM在词汇简化任务中的性能，但同时也可能引入有害简化。通过分析模型输出概率，可以有效地检测和过滤有害简化，从而在性能和安全性之间取得平衡。该研究为使用小型LLM进行安全高效的词汇简化提供了一个有价值的基准。

🎯 应用场景

该研究成果可应用于辅助阅读、教育、医疗等领域，帮助弱势群体（如残疾人、语言学习者）更好地理解文本。通过本地部署小型LLM，可以保护用户隐私，降低计算成本。未来，该技术有望集成到各种智能设备和应用程序中，实现更便捷、安全的词汇简化服务。

📄 摘要（原文）

Despite their strong performance, large language models (LLMs) face challenges in real-world application of lexical simplification (LS), particularly in privacy-sensitive and resource-constrained environments. Moreover, since vulnerable user groups (e.g., people with disabilities) are one of the key target groups of this technology, it is crucial to ensure the safety and correctness of the output of LS systems. To address these issues, we propose an efficient framework for LS systems that utilizes small LLMs deployable in local environments. Within this framework, we explore knowledge distillation with synthesized data and in-context learning as baselines. Our experiments in five languages evaluate model outputs both automatically and manually. Our manual analysis reveals that while knowledge distillation boosts automatic metric scores, it also introduces a safety trade-off by increasing harmful simplifications. Importantly, we find that the model's output probability is a useful signal for detecting harmful simplifications. Leveraging this, we propose a filtering strategy that suppresses harmful simplifications while largely preserving beneficial ones. This work establishes a benchmark for efficient and safe LS with small LLMs. It highlights the key trade-offs between performance, efficiency, and safety, and demonstrates a promising approach for safe real-world deployment.