Self-Correcting Self-Consuming Loops for Generative Model Training
作者: Nate Gillman, Michael Freeman, Daksh Aggarwal, Chia-Hong Hsu, Calvin Luo, Yonglong Tian, Chen Sun
分类: cs.LG, cs.AI, cs.CV, stat.ML
发布日期: 2024-02-11 (更新: 2024-06-10)
备注: Camera ready version (ICML 2024). Code at https://nategillman.com/sc-sc.html
💡 一句话要点
提出自我修正自我消耗循环以稳定生成模型训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 生成模型 合成数据 自我修正 训练稳定性 人体运动合成 机器学习 数据分布
📋 核心要点
- 核心问题：现有生成模型训练中，合成数据的使用可能导致自我消耗循环，造成训练不稳定或崩溃。
- 方法要点：通过引入理想化的修正函数，增强自我消耗循环的稳定性，并提出依赖专家知识的自我修正函数。
- 实验或效果：在人体运动合成任务中，提出的方法成功避免了模型崩溃，即使合成数据占比高达100%。
📝 摘要（中文）
随着合成数据质量的提高并在互联网上的广泛传播，机器学习模型越来越多地在混合的人类和机器生成数据上进行训练。尽管合成数据在表示学习中的成功案例屡见不鲜，但在生成模型训练中使用合成数据会产生“自我消耗循环”，这可能导致训练不稳定甚至崩溃。本文旨在稳定自我消耗的生成模型训练。我们的理论结果表明，通过引入理想化的修正函数，可以使自我消耗循环的稳定性指数级提高。我们提出的自我修正函数依赖于专家知识（例如在模拟器中编程的物理定律），旨在自动且大规模地近似理想化的修正器。我们在挑战性的人体运动合成任务上实证验证了自我修正自我消耗循环的有效性，观察到即使合成数据与真实数据的比例高达100%，也成功避免了模型崩溃。
🔬 方法详解
问题定义：本文解决的问题是生成模型训练中合成数据引发的自我消耗循环，导致训练不稳定和模型崩溃的现象。现有方法在处理合成数据与真实数据混合时缺乏有效的稳定机制。
核心思路：论文的核心思路是引入一个理想化的修正函数，该函数能够将数据点映射到更符合真实数据分布的状态，从而提高自我消耗循环的稳定性。通过这种方式，模型能够更好地学习真实数据的特征，减少训练过程中的不稳定性。
技术框架：整体架构包括数据输入、修正函数的计算、生成模型的训练和反馈机制。主要模块包括自我修正函数的设计、合成数据与真实数据的混合处理，以及模型训练过程中的动态调整。
关键创新：最重要的技术创新点在于提出了自我修正自我消耗循环的概念，通过引入专家知识来设计修正函数，使得模型训练在高比例合成数据的情况下仍然稳定。这与传统方法的本质区别在于不再依赖单一的数据源，而是通过修正机制增强模型的适应性。
关键设计：关键设计包括修正函数的参数设置，损失函数的选择，以及网络结构的优化。具体而言，修正函数的设计基于物理定律，确保其在模拟环境中的有效性，同时在训练过程中动态调整损失函数以适应不同的数据分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的自我修正自我消耗循环在人体运动合成任务中表现优异，成功避免了模型崩溃，且在合成数据与真实数据比例高达100%的情况下，模型依然保持稳定，显著提升了训练的可靠性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、动画制作和人机交互等领域，能够有效提升合成数据在生成模型训练中的应用效果。通过稳定训练过程，未来可以在更复杂的场景中实现高质量的生成模型，推动相关技术的发展与应用。
📄 摘要（原文）
As synthetic data becomes higher quality and proliferates on the internet, machine learning models are increasingly trained on a mix of human- and machine-generated data. Despite the successful stories of using synthetic data for representation learning, using synthetic data for generative model training creates "self-consuming loops" which may lead to training instability or even collapse, unless certain conditions are met. Our paper aims to stabilize self-consuming generative model training. Our theoretical results demonstrate that by introducing an idealized correction function, which maps a data point to be more likely under the true data distribution, self-consuming loops can be made exponentially more stable. We then propose self-correction functions, which rely on expert knowledge (e.g. the laws of physics programmed in a simulator), and aim to approximate the idealized corrector automatically and at scale. We empirically validate the effectiveness of self-correcting self-consuming loops on the challenging human motion synthesis task, and observe that it successfully avoids model collapse, even when the ratio of synthetic data to real data is as high as 100%.