Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training

📄 arXiv: 2403.00758v3 📥 PDF

作者: Qingyan Guo, Rui Wang, Junliang Guo, Xu Tan, Jiang Bian, Yujiu Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-01 (更新: 2024-03-20)

💡 一句话要点

提出语义感知置换训练以解决大语言模型的反转诅咒问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 反转诅咒 语义感知 置换训练 推理能力 人工智能 自然语言处理

📋 核心要点

  1. 现有的因果语言模型在推理能力上存在缺陷，无法进行双向推理，导致反转诅咒现象。
  2. 论文提出语义感知置换训练（SPT），通过将句子分割为语义单元并进行置换，增强模型的推理能力。
  3. 大量实验表明，SPT显著提高了模型在反向问题上的性能，接近正向问题的表现，超越了现有方法。

📝 摘要（中文）

尽管大语言模型在多种任务上表现出色，但近期研究表明因果语言模型存在“反转诅咒”问题，即模型能够理解“A的父亲是B”，却无法推理“B的孩子是A”。这一局限性影响了人工通用智能（AGI）的发展。本文通过评估发现，反转诅咒的根本原因在于训练和推理阶段的词序差异。为此，提出了一种语义感知置换训练（SPT）方法，通过将训练句子分割为语义单元并进行置换，帮助模型更好地预测前置词。实验结果表明，SPT有效缓解了反转诅咒，提升了模型在反向问题上的表现。

🔬 方法详解

问题定义：本文旨在解决大语言模型在推理时的反转诅咒问题，现有方法在训练和推理阶段的词序差异导致模型无法有效预测前置词。

核心思路：提出语义感知置换训练（SPT），通过将训练数据中的句子分割为语义单元（如实体或短语），并在输入模型前进行置换，以增强模型的双向推理能力。

技术框架：整体流程包括使用辅助语言模型对训练句子进行语义分割，生成语义单元，然后对这些单元进行置换，最后将置换后的数据输入到因果语言模型进行训练。

关键创新：SPT的创新在于通过语义单元的置换，避免了传统置换方法可能破坏完整短语或实体的问题，从而提高了模型的理解和学习能力。

关键设计：在模型训练中，采用特定的损失函数来优化模型对前置词的预测能力，确保置换后的语义单元仍然保持语义完整性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，使用SPT训练的模型在反向问题上的表现与正向问题相近，显著提高了推理能力。与基线模型相比，性能提升幅度达到XX%，验证了SPT的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和知识图谱等，能够提升模型在复杂推理任务中的表现，推动人工智能向更高层次的智能化发展。未来，SPT方法可能在多模态学习和跨领域知识迁移等方面展现更大价值。

📄 摘要（原文）

While large language models (LLMs) have achieved impressive performance across diverse tasks, recent studies showcase that causal LLMs suffer from the "reversal curse". It is a typical example that the model knows "A's father is B", but is unable to reason "B's child is A". This limitation poses a challenge to the advancement of artificial general intelligence (AGI), as it suggests a gap in the models' ability to comprehend and apply bidirectional reasoning. In this paper, we first conduct substantial evaluation and identify that the root cause of the reversal curse lies in the different word order between the training and inference stage, namely, the poor ability of causal language models to predict antecedent words within the training data. Accordingly, permutation on the training data is considered as a potential solution, since this can make the model predict antecedent words or tokens. However, previous permutation methods may disrupt complete phrases or entities, thereby posing challenges for the model to comprehend and learn from training data. To address this issue, we propose Semantic-aware Permutation Training (SPT), which addresses this issue by segmenting the training sentences into semantic units (i.e., entities or phrases) with an assistant language model and permuting these units before feeding into the model. Extensive experiments demonstrate that SPT effectively mitigates the reversal curse since the performance on reversed questions approximates that on the forward ones, and significantly advances the performance of existing works.