StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
作者: Jia-Nan Li, Quan Tu, Cunli Mao, Zhengtao Yu, Ji-Rong Wen, Rui Yan
分类: cs.CL, cs.AI
发布日期: 2024-03-13 (更新: 2024-11-04)
💡 一句话要点
提出StreamingDialogue以解决长对话学习中的信息损失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长对话处理 信息压缩 对话系统 大型语言模型 机器学习
📋 核心要点
- 现有的大型语言模型在处理长对话上下文时效率低下，且容易出现信息丢失。
- 论文提出StreamingDialogue，通过压缩对话历史为结束语（EoU）来减少计算复杂度，保持信息完整性。
- 实验结果显示，该方法在对话任务中表现优异，速度提升4倍，内存使用减少18倍。
📝 摘要（中文）
标准的大型语言模型（LLMs）在处理长上下文对话时面临效率和一致性问题。我们观察到对话上下文高度结构化，特别的结束语（EoU）标记可以聚合信息。基于此，我们提出了StreamingDialogue，通过将长对话历史压缩为EoU，最小化信息损失，从而实现对话学习的延续。我们的模型在对话任务中超越了强基线，速度提升4倍，同时内存使用减少18倍。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在处理长对话上下文时的效率和一致性问题。现有方法在长对话中容易导致信息丢失，影响对话的连贯性和准确性。
核心思路：我们提出StreamingDialogue，通过将长对话历史压缩为结束语（EoU）标记，形成“对话注意力汇聚点”，以最小化信息损失并提高计算效率。
技术框架：该方法包括两个主要学习策略：短期记忆重建（SMR）和长期记忆再激活（LMR）。整体流程为：首先将对话历史压缩为EoU，然后通过SMR和LMR进行信息重建和激活。
关键创新：最重要的创新在于将EoU视为对话中的信息聚合点，从而实现了对话历史的有效压缩，显著提高了处理长对话的能力。与现有方法相比，我们的方法在信息保持和计算效率上有显著提升。
关键设计：在模型设计中，我们设置了特定的损失函数以最小化重建误差，并优化了网络结构以适应长对话的特性。
🖼️ 关键图片
📊 实验亮点
在对话任务中，StreamingDialogue方法超越了多个强基线，达到了4倍的速度提升，同时内存使用减少了18倍。这些实验结果表明，该方法在处理长对话时具有显著的性能优势，能够有效支持更复杂的对话场景。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和社交机器人等需要处理长对话的场景。通过提高对话模型的效率和信息保持能力，StreamingDialogue能够提升用户体验，并在实际应用中实现更自然的交互。未来，该技术可能推动对话系统的进一步发展，尤其是在复杂对话场景中的应用。
📄 摘要（原文）
Standard Large Language Models (LLMs) struggle with handling dialogues with long contexts due to efficiency and consistency issues. According to our observation, dialogue contexts are highly structured, and the special token of \textit{End-of-Utterance} (EoU) in dialogues has the potential to aggregate information. We refer to the EoU tokens as ``conversational attention sinks'' (conv-attn sinks). Accordingly, we introduce StreamingDialogue, which compresses long dialogue history into conv-attn sinks with minimal losses, and thus reduces computational complexity quadratically with the number of sinks (i.e., the number of utterances). Current LLMs already demonstrate the ability to handle long context window, e.g., a window size of 200K or more. To this end, by compressing utterances into EoUs, our method has the potential to handle more than 200K of utterances, resulting in a prolonged dialogue learning. In order to minimize information losses from reconstruction after compression, we design two learning strategies of short-memory reconstruction (SMR) and long-memory reactivation (LMR). Our method outperforms strong baselines in dialogue tasks and achieves a 4 $\times$ speedup while reducing memory usage by 18 $\times$ compared to dense attention recomputation.