World-Model-Grounded LLM Planning for AUV and ASV Navigation Near Offshore Wind Farms
作者: Markus Buchholz, Ignacio Carlucho, Yvan R. Petillot
分类: cs.RO
发布日期: 2026-08-20
备注: This work has been accepted to the IEEE IROS 2026 AQ2UASIM workshop
💡 一句话要点
提出基于世界模型的LLM规划以解决AUV和ASV在海上风电场导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 物理基础模型 自主水下航行器 自主水面航行器 模型预测控制 导航规划 海洋环境
📋 核心要点
- 现有大型语言模型在物理判断方面存在不足，无法有效规划机器人在复杂环境中的导航。
- 本文提出了一种结合物理知识的世界模型，增强了大型语言模型的规划能力，能够更准确地控制机器人动作。
- 实验表明，AUV和ASV在动态环境中均实现了零碰撞，ASV的导航准确率达到96%，显著优于传统方法。
📝 摘要（中文）
大型语言模型能够将自然语言任务转化为机器人动作序列，但缺乏物理感知，无法判断命令的持续时间或是否会导致碰撞。本文提出了一种结合世界模型的规划方法，包含物理基础的神经世界模型、三阶段梯度优化器和基于模型预测控制的闭环重规划器。通过对6自由度的自主水下航行器（AUV）和3自由度的自主水面航行器（ASV）进行评估，实验结果显示两种平台在五个基准任务中均实现了零碰撞，并在动态环境下显著降低了目标距离误差。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在机器人导航中的物理感知不足问题，现有方法无法有效判断命令的持续时间和碰撞风险。
核心思路：通过引入一个物理基础的世界模型，结合大型语言模型的决策能力，使得机器人能够在复杂环境中进行更为精确的导航规划。
技术框架：整体方法由三个主要模块组成：物理基础的神经世界模型、三阶段梯度优化器和基于模型预测控制的闭环重规划器。语言模型负责决策，世界模型则负责时间和空间的判断。
关键创新：最重要的创新在于将世界模型与大型语言模型结合，使得机器人能够在动态环境中进行实时的、基于物理的决策，显著提高了导航的安全性和准确性。
关键设计：在设计中，采用了三阶段的梯度优化策略，并引入了信任区域保护机制，以确保在重规划过程中保持稳定性和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AUV和ASV在五个基准任务中均实现了零碰撞，ASV在动态环境下的目标距离误差降低了70-82%，而AUV则降低了约93%。此外，ASV的导航准确率达到96%，显示出该方法在实际应用中的优越性。
🎯 应用场景
该研究的潜在应用领域包括海洋探测、环境监测和海上风电场的维护等。通过提高自主水下和水面航行器的导航能力，该方法能够在复杂的海洋环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models can turn a natural-language mission into a sequence of robot actions, but they do not have a sense of physics: they cannot judge how long a command should run, or whether it will make the robot drift into an obstacle. We proposed the use of a world model to expand the capabilities of Large Language model-based planners. Our method has three components: a physics-grounded neural world model, a three-phase gradient-based trajectory optimizer, and a Model Predictive Controller (MPC)-style closed-loop replanner with a trust-region guard. The language model decides what to do, and the world model decides how long, whether that means driving eight thrusters through 6 DOF or two differential thrusters through 3 DOF. We evaluate two marine vehicle classes operating near offshore wind infrastructure: a 6-DOF Autonomous Underwater Vehicle (AUV) and a 3-DOF differential-drive Autonomous Surface Vehicle (ASV). In five benchmark missions per platform, both vehicles reach every goal with zero predicted collisions, and both transfer to GazeboSim under ocean current, waves, and thruster dynamics, remaining collision-free and cutting GazeboSim goal-distance error versus the ungrounded baseline by 70-82% (ASV) and roughly 93% (AUV), after a residual fine-tuning pass that separately reduces surrogate rollout Root Mean Square Error (RMSE) by 60% (AUV) and 69% (ASV). For the ASV we further demonstrate a Vision language model (VLM)-assisted semantic-mapping pipeline that extracts obstacles and environmental context from satellite imagery, nautical charts, and forecast Application Programming Interface (API) instead of onboard sensors, reaching 96% navigability accuracy as a drop-in replacement for hand-specified obstacle geometry.