Towards Trustworthy Lexical Simplification: Exploring Safety and Efficiency with Small LLMs

📄 arXiv: 2509.25086v1 📥 PDF

作者: Akio Hayakawa, Stefan Bott, Horacio Saggion

分类: cs.CL

发布日期: 2025-09-29

💡 一句话要点

提出一种基于小型LLM的安全高效词汇简化框架，并探索安全过滤策略。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词汇简化 小型LLM 知识蒸馏 安全性 过滤策略

📋 核心要点

  1. 大型LLM在词汇简化中表现出色，但部署在隐私敏感和资源受限环境存在挑战，且安全性难以保证。
  2. 利用小型LLM，结合知识蒸馏和上下文学习，构建高效的词汇简化框架，并提出基于输出概率的过滤策略。
  3. 实验表明，知识蒸馏提升了自动评估指标，但引入了安全风险，而提出的过滤策略能有效抑制有害简化。

📝 摘要（中文）

大型语言模型（LLM）在词汇简化（LS）的实际应用中面临挑战，尤其是在隐私敏感和资源受限的环境中。此外，由于弱势用户群体（例如残疾人）是该技术的主要目标群体之一，因此确保LS系统输出的安全性和正确性至关重要。为了解决这些问题，我们提出了一个高效的LS系统框架，该框架利用可在本地环境中部署的小型LLM。在该框架内，我们探索了使用合成数据的知识蒸馏和上下文学习作为基线。我们在五种语言中的实验对模型输出进行了自动和手动评估。我们的人工分析表明，虽然知识蒸馏提高了自动指标分数，但它也通过增加有害简化引入了安全权衡。重要的是，我们发现模型的输出概率是检测有害简化的有用信号。利用这一点，我们提出了一种过滤策略，该策略在很大程度上保留有益简化的同时，抑制有害简化。这项工作为使用小型LLM进行高效且安全的LS建立了一个基准。它突出了性能、效率和安全性之间的关键权衡，并展示了一种用于安全实际部署的有希望的方法。

🔬 方法详解

问题定义：论文旨在解决词汇简化（LS）任务中，大型语言模型（LLM）在资源受限和隐私敏感场景下部署困难，以及输出结果安全性难以保证的问题。现有方法通常依赖于大型模型，计算成本高昂，且可能生成不安全或不合适的简化结果，尤其是在面向弱势群体时，安全性问题尤为重要。

核心思路：论文的核心思路是利用小型LLM，通过知识蒸馏和上下文学习，构建一个高效且安全的词汇简化系统。通过分析模型输出概率，识别并过滤掉潜在的有害简化，从而在性能和安全性之间取得平衡。这种方法旨在降低计算成本，同时提高简化结果的可靠性和适用性。

技术框架：该框架包含以下主要模块：1) 小型LLM：作为词汇简化的核心模型。2) 知识蒸馏模块：使用合成数据，将大型模型的知识迁移到小型模型。3) 上下文学习模块：利用上下文信息提升简化效果。4) 过滤模块：基于模型输出概率，识别并过滤有害简化。整体流程是，输入复杂词汇和上下文，小型LLM生成候选简化词汇，然后通过过滤模块筛选，最终输出安全且合适的简化结果。

关键创新：该论文的关键创新在于提出了一种基于小型LLM输出概率的有害简化过滤策略。不同于以往侧重于提升简化性能的方法，该研究关注简化结果的安全性，并提出了一种简单有效的过滤方法，能够在很大程度上保留有益简化的同时，抑制有害简化。

关键设计：论文的关键设计包括：1) 合成数据的生成方法，用于知识蒸馏，保证数据质量和多样性。2) 模型输出概率阈值的设定，用于过滤有害简化，需要根据具体任务和数据集进行调整。3) 损失函数的设计，可能包含交叉熵损失、对比损失等，用于优化模型性能和安全性。

📊 实验亮点

实验结果表明，知识蒸馏可以有效提升小型LLM在词汇简化任务中的性能，但同时也增加了有害简化的风险。通过提出的过滤策略，可以在很大程度上抑制有害简化，同时保留有益简化。人工评估结果验证了该过滤策略的有效性，为安全高效的词汇简化提供了一种可行的解决方案。

🎯 应用场景

该研究成果可应用于辅助阅读工具、教育软件、无障碍网站等领域，帮助弱势群体（如残疾人、语言学习者）更好地理解文本内容。通过降低词汇难度，提高信息的可访问性，促进社会公平和包容。未来，该技术可进一步扩展到其他自然语言处理任务，如文本摘要、机器翻译等，提升系统的可用性和安全性。

📄 摘要（原文）

Despite their strong performance, large language models (LLMs) face challenges in real-world application of lexical simplification (LS), particularly in privacy-sensitive and resource-constrained environments. Moreover, since vulnerable user groups (e.g., people with disabilities) are one of the key target groups of this technology, it is crucial to ensure the safety and correctness of the output of LS systems. To address these issues, we propose an efficient framework for LS systems that utilizes small LLMs deployable in local environments. Within this framework, we explore knowledge distillation with synthesized data and in-context learning as baselines. Our experiments in five languages evaluate model outputs both automatically and manually. Our manual analysis reveals that while knowledge distillation boosts automatic metric scores, it also introduces a safety trade-off by increasing harmful simplifications. Importantly, we find that the model's output probability is a useful signal for detecting harmful simplifications. Leveraging this, we propose a filtering strategy that suppresses harmful simplifications while largely preserving beneficial ones. This work establishes a benchmark for efficient and safe LS with small LLMs. It highlights the key trade-offs between performance, efficiency, and safety, and demonstrates a promising approach for safe real-world deployment.