Trajectory-Level Automatic Curriculum Learning for Legged Locomotion on Unstructured Terrain
作者: Rocky Liu, Tengyu Liu, Baoxiong Jia, Fangwei Zhong, Xinyi Tong, Hongzhao Xie, Siyuan Huang
分类: cs.AI, cs.RO
发布日期: 2026-08-17
💡 一句话要点
提出轨迹级自动课程学习以解决复杂地形行走问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动课程学习 轨迹生成 非结构化地形 行走策略 机器人导航
📋 核心要点
- 现有方法在非结构化地形上缺乏明确的难度排序，导致策略容易过拟合于固定的感知模式。
- 本文提出的轨迹级自动课程学习框架，通过直接从地形地图生成训练任务，动态调整课程以适应策略的演变。
- 实验结果显示，该方法在最困难的地形任务上成功率提高了18.5%，在不同接近方向的同一障碍物类型上提升幅度达到39.74%。
📝 摘要（中文）
在复杂的非结构化地形上训练行走策略需要课程设计，以避免早期探索失败。然而，由于非结构化地形缺乏明确的难度排序，现有方法依赖于启发式课程，这限制了策略的泛化能力。为此，本文提出了轨迹级自动课程学习框架（ extbf{ heourname{}}），直接从非结构化地形地图生成训练任务。每次课程更新时，评估器学习当前策略的难度函数，将给定的轨迹任务映射到难度评分。采样器则根据学习到的评估器提出新的轨迹，形成一个与不断演变的策略相匹配的闭环。实验结果表明，该方法在非结构化地形上有效提升了轨迹成功率，较无课程训练提高了56.3%。
🔬 方法详解
问题定义：本文旨在解决在复杂非结构化地形上训练行走策略时，缺乏有效课程设计的问题。现有方法依赖启发式课程，导致策略泛化能力不足。
核心思路：提出轨迹级自动课程学习框架（ extbf{ heourname{}}），通过动态生成训练任务，实时调整课程以适应策略的演变，避免过拟合。
技术框架：该框架包括两个主要模块：评估器和采样器。评估器负责学习当前策略的难度函数，将轨迹任务映射到难度评分；采样器则根据评估器的反馈生成新的轨迹任务。
关键创新：最重要的创新在于通过轨迹级别的自动课程设计，形成一个闭环系统，使得课程与策略的演变相匹配，显著提升了训练效果。
关键设计：在设计中，难度函数的学习采用了特定的损失函数，以确保评估器能够准确反映轨迹的难度，同时采样器的轨迹生成策略也经过精心调整，以保证多样性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示， extbf{ heourname{}}在非结构化地形上持续提供有效课程，成功率较无课程训练提高了56.3%。与手工设计的课程学习相比，在最困难的地形任务上成功率提高了18.5%，在不同接近方向的同一障碍物类型上提升幅度达到39.74%。
🎯 应用场景
该研究的潜在应用领域包括机器人行走、自动驾驶和无人机导航等，尤其是在复杂和动态的环境中。通过提高策略的适应性和泛化能力，未来可以在更多实际场景中实现高效的自主移动。
📄 摘要（原文）
Training locomotion policies for complex unstructured terrain requires a curriculum to avoid early exploration failures. However, since unstructured terrain lacks explicit difficulty ordering for curriculum design, existing methods resort to heuristic curricula over parameterized terrains. This abstraction limits generalization, as policies can overadapt to near-fixed perceptual patterns. To address this, we propose \textbf{\ourname{}}, an \textbf{T}rajectory-level \textbf{A}utomatic \textbf{C}urriculum \textbf{L}earning framework that generates training tasks directly from unstructured terrain maps. At each curriculum update, the evaluator learns a difficulty function for the current policy that maps a given trajectory task to a difficulty score. The sampler then proposes new trajectories guided by the learned evaluator as the curriculum for the next policy update. This forms a closed loop in which the curriculum is iteratively matched to the evolving policy. Quantitative and qualitative experiments show that \ourname{} continuously provides effective curricula on unstructured terrain, improving trajectory success rate by (56.3\%) over direct training without curriculum. Compared with handcrafted curriculum learning, our method improves success rate by (18.5\%) on the hardest terrain tasks and by up to (39.74\%) when evaluating traversal from diverse approach directions on the same obstacle type.