Learning When to Stop: Prefix-Optimal Dynamic Diffusion Policies for Continuous Control

📄 arXiv: 2608.05084v1 📥 PDF

作者: Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

分类: cs.LG, cs.RO

发布日期: 2026-08-05

💡 一句话要点

提出Prefix-Optimal生成策略以解决动态扩散策略的计算瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散策略 连续控制 动态调整 前缀值函数 去噪过程 机器学习 强化学习

📋 核心要点

  1. 现有的扩散策略在连续控制中表现出色，但其去噪过程的计算开销巨大，限制了实际应用。
  2. 本文提出了一种新的框架POGP，通过在去噪链的每个中间步骤学习前缀值函数，来动态调整去噪步骤数量。
  3. 实验结果显示，POGP在多个环境中显著减少了去噪迭代次数，同时提升了任务性能，验证了其有效性。

📝 摘要（中文）

扩散策略是一种强大的连续控制策略，但其迭代去噪过程造成了显著的计算瓶颈。为降低计算成本，本文提出Prefix-Optimal生成策略（POGP），通过在每个中间去噪步骤学习前缀值函数，适应每个动作的去噪步骤数量，同时保持任务性能。在四个MuJoCo环境中，POGP将所需的去噪迭代次数减少了约2.7倍，同时保持接近完整的任务性能。此外，与最先进的动态扩散基线相比，前缀训练还将最终任务性能提高了约3.5%。这些结果表明，监督中间去噪步骤不仅有助于自适应早期停止，还作为辅助目标改善学习策略。

🔬 方法详解

问题定义：本文旨在解决扩散策略在连续控制中的计算瓶颈问题，现有方法在去噪过程中需要大量迭代，导致效率低下。

核心思路：通过引入前缀值函数，POGP能够在每个去噪步骤动态调整所需的去噪次数，从而优化计算效率并保持任务性能。

技术框架：POGP框架包括两个主要模块：前缀值函数的学习和去噪过程的动态调整。前缀值函数通过贝尔曼风格的递归在去噪链中进行学习，提供辅助训练目标。

关键创新：POGP的核心创新在于通过监督中间去噪步骤，既实现了自适应早期停止，又作为辅助目标提升了学习策略的质量。与传统方法相比，POGP在去噪效率和任务性能上均有显著提升。

关键设计：在设计中，前缀值函数的损失函数被精心设置，以确保中间输出的高质量，同时网络结构采用了适应性调整机制，以便在测试时根据需要停止去噪过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，POGP在四个MuJoCo环境中将去噪迭代次数减少了约2.7倍，同时保持接近完整的任务性能。此外，与最先进的动态扩散基线相比，前缀训练还提高了最终任务性能约3.5%。这些结果突显了POGP的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等需要高效决策的连续控制任务。通过优化去噪过程，POGP能够在实时系统中提供更快的响应速度和更高的决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Diffusion policies are a powerful policy class for continuous control, but their iterative denoising process creates a substantial computational bottleneck. Reducing this cost requires adapting the number of denoising steps to the difficulty of each action while preserving task performance. We introduce Prefix-Optimal Generative Policies (POGP), a framework that learns a prefix value function at every intermediate denoising step through a Bellman-style recursion over the denoising chain. The prefix value function serves two purposes: it provides an auxiliary training objective that encourages intermediate outputs to become high-quality actions, and it enables a test-time stopping rule that terminates denoising when additional steps are unlikely to produce meaningful improvement. Across four MuJoCo environments and comparisons with 12 baselines, POGP reduces the required number of denoising iterations by approximately 2.7-fold while retaining near-full task performance. Compared with state-of-the-art dynamic diffusion baselines, prefix training also improves final task performance by approximately 3.5%. These results indicate that supervising intermediate denoising steps is useful not only for adaptive early stopping, but also as an auxiliary objective that improves the learned policy.