DeadPool: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

📄 arXiv: 2607.01646v1 📥 PDF

作者: Haotian Xie, Junlin Chen, Mingkai Zheng, Lishan Yang, Zhao Zhang

分类: cs.LG, cs.DC

发布日期: 2026-07-02

💡 一句话要点

提出DeadPool以解决大规模语言模型训练中的故障恢复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 故障恢复 热插拔机制 内存检查点 分布式计算 容错机制 深度学习

📋 核心要点

  1. 现有大规模语言模型训练面临故障恢复效率低下的问题，尤其在部分计算节点发生永久性故障时。
  2. DeadPool通过热插拔机制实现故障节点的动态替换，避免了任务的中断，提升了训练的容错能力。
  3. 实验结果显示，DeadPool在多个规模的GPU上测试时，热插拔恢复时间低于40秒，且无检查点开销，表现出色。

📝 摘要（中文）

当前最先进的大规模语言模型（LLM）训练需要数万块图形处理单元（GPU）并持续数月，且在软件和硬件层面上容易出现故障。现有的容错机制在无故障执行期间会产生显著的开销，或在小部分计算节点发生永久性故障时恢复延迟较长。为此，本文提出DeadPool，通过热插拔机制在不终止整个任务的情况下恢复LLM训练。DeadPool的热插拔依赖于两项创新：首先，利用非关键路径的内存检查点机制实现空间冗余；其次，提出了一个通信重构协议，在运行时用备用节点替换故障节点。DeadPool有效地将内存检查点与计算重叠，从而在无错误执行期间实现零开销。实验表明，DeadPool在512块NVIDIA A100 GPU和最大65B参数的LLM上测试时，热插拔恢复时间少于40秒，且实现了零检查点开销。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型训练中的故障恢复问题，现有方法在故障发生时往往需要较长的恢复时间或在正常执行期间产生额外开销。

核心思路：DeadPool通过热插拔机制，允许在训练过程中动态替换故障节点，从而实现无缝恢复，避免了任务的中断。

技术框架：DeadPool的整体架构包括两个主要模块：内存检查点机制和通信重构协议。内存检查点用于存储模型状态，而通信重构协议则负责在运行时替换故障节点。

关键创新：DeadPool的主要创新在于其零开销的内存检查点机制和高效的热插拔恢复能力，这与传统方法在故障恢复时需要额外开销的做法形成鲜明对比。

关键设计：在设计中，DeadPool采用了非关键路径的内存检查点策略，并通过优化的通信协议实现了故障节点的快速替换，确保了训练过程的高效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeadPool在实验中实现了零检查点开销，且热插拔恢复时间在40秒以内，展示了其在512块NVIDIA A100 GPU和最大65B参数的LLM训练中的优越性能，显著提升了故障恢复效率。

🎯 应用场景

DeadPool的研究成果在大规模语言模型训练、分布式计算和云计算等领域具有广泛的应用潜力。其高效的故障恢复机制可以显著提升训练效率，降低资源浪费，未来可推动更大规模的AI模型训练和应用。

📄 摘要（原文）

State-of-the-art large language model (LLM) training takes tens of thousands of graphics processing units (GPUs) for months and encounters failures across the software and hardware stack. Existing fault-tolerance mechanisms either impose non-trivial overhead during failure-free execution or suffer from prolonged recovery latency, particularly under scenarios where a small subset of compute nodes experience permanent failures. %The tradeoff between failure-free overhead and recovery latency forms a space forms a Pareto frontier We present DeadPool to simultaneously address both optimization objectives. DeadPool incorporates a fault-tolerance mechanism that restores LLM training via hot-swapping, namely by replacing failed nodes with spare nodes without terminating the complete job. The hot-swapping of DeadPool is enabled by two ideas: First, it exploits an off-critical-path in-memory checkpointing mechanism for spatial redundancy. Second, it introduces a communicator reconstruction protocol that replaces failed nodes with spare nodes at runtime. DeadPool efficiently overlaps the in-memory checkpointing with computation, thus introducing zero overhead during error-free execution. Upon permanent node failures, DeadPool can rebuild memory states with minimal recomputation by leveraging in-memory checkpoints. We evaluate DeadPool across scales (up to 512 NVIDIA A100 GPUs) and LLMs (up to 65B parameters), and observe zero checkpoint overhead with hot-swapping recovery completing in under 40 seconds. These results show that DeadPool simultaneously achieves both zero-overhead error-free execution and extremely low recovery cost.