DeadPool: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

📄 arXiv: 2607.01646 📥 PDF

作者: Haotian Xie, Junlin Chen, Mingkai Zheng, Lishan Yang, Zhao Zhang

分类: cs.LG, cs.DC

发布日期: 2026-07-05

💡 一句话要点

提出DeadPool以解决大规模语言模型训练中的故障恢复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 故障恢复 热插拔机制 内存检查点 计算效率 深度学习 容错机制

📋 核心要点

  1. 现有的大规模语言模型训练在故障恢复方面存在显著的开销和延迟问题，影响训练效率。
  2. DeadPool通过热插拔机制和内存检查点技术，能够在故障发生时快速恢复训练，避免作业中断。
  3. 实验结果显示，DeadPool在512个GPU上实现了零检查点开销，恢复时间低于40秒，显著提升了训练效率。

📝 摘要（中文）

当前最先进的大规模语言模型（LLM）训练需要数万块图形处理单元（GPU）并持续数月，且在软件和硬件层面上容易出现故障。现有的容错机制在无故障执行期间会引入显著的开销，或在小部分计算节点发生永久性故障时恢复延迟较长。为此，本文提出DeadPool，通过热插拔机制在不终止整个作业的情况下恢复LLM训练。DeadPool的热插拔由两大核心思想支撑：首先，利用非关键路径的内存检查点机制实现空间冗余；其次，引入通信重构协议在运行时用备用节点替换故障节点。DeadPool有效地将内存检查点与计算重叠，从而在无错误执行期间实现零开销。实验表明，DeadPool在512块NVIDIA A100 GPU和65B参数的LLM上测试时，热插拔恢复时间少于40秒，显示出其在无错误执行和低恢复成本方面的双重优势。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型训练中的故障恢复问题。现有方法在无故障执行时会引入额外开销，且在部分计算节点永久故障时恢复时间较长。

核心思路：DeadPool通过热插拔机制实现故障恢复，允许在不终止作业的情况下用备用节点替换故障节点，进而提高训练的鲁棒性和效率。

技术框架：DeadPool的整体架构包括两个主要模块：一是非关键路径的内存检查点机制，二是运行时的通信重构协议。这两个模块协同工作，确保在故障发生时能够快速恢复。

关键创新：DeadPool的主要创新在于实现了零开销的内存检查点和高效的热插拔恢复机制。这与现有方法在故障恢复时通常需要显著开销的情况形成鲜明对比。

关键设计：在设计中，DeadPool采用了高效的内存管理策略，确保检查点与计算过程的重叠，并通过优化的通信协议实现节点的快速替换。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeadPool在实验中表现出色，在512个NVIDIA A100 GPU上实现了零检查点开销，热插拔恢复时间低于40秒。这一结果显著优于现有的故障恢复机制，展示了其在大规模语言模型训练中的实际应用价值。

🎯 应用场景

DeadPool的研究成果具有广泛的应用潜力，尤其是在需要长时间运行的大规模计算任务中，如自然语言处理、机器翻译和对话系统等领域。其高效的故障恢复机制能够显著提升训练的可靠性和效率，推动相关技术的进一步发展。

📄 摘要（原文）

State-of-the-art large language model (LLM) training takes tens of thousands of graphics processing units (GPUs) for months and encounters failures across the software and hardware stack. Existing fault-tolerance mechanisms either impose non-trivial overhead during failure-free execution or suffer from prolonged recovery latency, particularly under scenarios where a small subset of compute nodes experience permanent failures. %The tradeoff between failure-free overhead and recovery latency forms a space forms a Pareto frontier We present DeadPool to simultaneously address both optimization objectives. DeadPool incorporates a fault-tolerance mechanism that restores LLM training via hot-swapping, namely by replacing failed nodes with spare nodes without terminating the complete job. The hot-swapping of DeadPool is enabled by two ideas: First, it exploits an off-critical-path in-memory checkpointing mechanism for spatial redundancy. Second, it introduces a communicator reconstruction protocol that replaces failed nodes with spare nodes at runtime. DeadPool efficiently overlaps the in-memory checkpointing with computation, thus introducing zero overhead during error-free execution. Upon permanent node failures, DeadPool can rebuild memory states with minimal recomputation by leveraging in-memory checkpoints. We evaluate DeadPool across scales (up to 512 NVIDIA A100 GPUs) and LLMs (up to 65B parameters), and observe zero checkpoint overhead with hot-swapping recovery completing in under 40 seconds. These results show that DeadPool simultaneously achieves both zero-overhead error-free execution and extremely low recovery cost.