Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

📄 arXiv: 2608.24488v1 📥 PDF

作者: Yiyang He, Zhichun Zhou, Ziwei Wang, Tao Xue, Haolin Fei

分类: cs.LG

发布日期: 2026-08-25

备注: 24 pages, 6 figures, 8 tables

💡 一句话要点

提出改进的PPO方法以优化连续控制策略的熵测量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 近端策略优化 连续控制 策略几何 熵测量 高斯分布 机器人控制 智能制造

📋 核心要点

  1. 现有的连续控制策略通常优化为无界高斯分布，导致在有界动作下的表现不佳。
  2. 论文提出通过不同的熵测量方式来优化PPO策略，探索其对策略几何的影响。
  3. 实验结果显示，使用不同熵测量的策略在边界附近的占用率存在显著差异，验证了方法的有效性。

📝 摘要（中文）

许多连续控制策略被优化为无界高斯分布，然后映射到有界动作。本文展示了熵测量的位置如何影响通过近端策略优化（PPO）学习的策略几何。在80肌肉的MyoLeg任务中，裁剪高斯执行了89.07%的动作在5%的边界内。通过同状态分解发现，这并非仅由于方差：将方差设为零仍有83.83%的动作接近边界，而82.12%的状态条件均值位于可执行区间之外。用tanh映射替代裁剪并未消除高方差区域。研究表明，熵测量空间是一个耦合的均值-方差设计选择，任务回报本身并不能表征有界策略几何。

🔬 方法详解

问题定义：本文旨在解决现有连续控制策略在有界动作下的优化问题，现有方法往往忽视熵测量对策略几何的影响，导致性能不足。

核心思路：通过分析熵测量位置的不同，提出改进的PPO方法，探索其对策略几何的影响，强调均值与方差的耦合设计。

技术框架：整体框架包括策略优化模块、熵测量模块和动作执行模块。策略优化模块使用PPO算法，熵测量模块根据不同的熵定义进行策略调整，动作执行模块负责将优化后的策略映射到实际动作。

关键创新：最重要的创新在于提出了通过不同熵测量（如执行动作熵与潜在高斯熵）来优化策略几何，揭示了均值和方差之间的复杂关系。

关键设计：在实验中，设置了不同的方差和均值参数，使用了裁剪高斯和tanh映射等技术细节，确保了策略在边界附近的高效执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在MyoLeg任务中，使用潜在熵、无熵和执行动作熵的策略在边界附近的占用率分别为71.42%、29.76%和18.83%，显示出显著的性能差异，验证了论文提出的熵测量方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等需要高效连续控制的场景。通过优化策略的熵测量，可以提高系统的稳定性和响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Many continuous-control policies are optimized as unbounded Gaussians and then mapped into bounded actions. We show that where entropy is measured changes the policy geometry learned by proximal policy optimization (PPO). In an 80-muscle MyoLeg task, a clipped Gaussian executes 89.07% of actions within 5% of a bound. A same-state decomposition shows that this is not due to variance alone: setting variance to zero still leaves 83.83% of actions near a bound, while 82.12% of state-conditioned means lie outside the executable interval. Replacing clipping with a tanh map does not remove the high-variance regime. For latent Gaussian entropy H(u), the entropy loss has zero gradient with respect to the mean and a constant variance-increasing gradient. For executed-action entropy H(a), the transform Jacobian adds an inward gradient on the mean. Across three matched MyoLeg seeds, near-boundary occupancy is 71.42%, 29.76%, and 18.83% under latent entropy, no entropy, and executed-action entropy. A 38-dimensional Dog-Stand replication with an independent CleanRL-based PPO implementation reproduces the ordering in mean geometry, which also survives shared-state evaluation and boundary margins from 1% to 10%. Direct mean penalties can match or exceed the centering produced by H(a), showing that interior means are not unique to executed entropy. However, matched mean geometry can coexist with substantially different variance and return. Entropy measurement space is therefore a coupled mean-variance design choice, and task return alone does not characterize bounded-policy geometry.