ShipTraj-R1: Reinforcing Ship Trajectory Prediction in Large Language Models via Group Relative Policy Optimization

📄 arXiv: 2603.02939v1 📥 PDF

作者: Yang Zhan, Yunhao Li, Zhang Chao, Yuxu Lu, Yan Li

分类: cs.AI

发布日期: 2026-03-03

备注: Accepted by the 30th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD2026)

💡 一句话要点

提出ShipTraj-R1，利用大语言模型和强化学习优化船舶轨迹预测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 船舶轨迹预测 大语言模型 强化学习 思维链 智能航运

📋 核心要点

  1. 现有方法在船舶轨迹预测中缺乏利用大语言模型进行复杂推理的能力。
  2. ShipTraj-R1通过动态提示、规则奖励和GRPO强化学习，提升LLM在轨迹预测中的性能。
  3. 实验表明，ShipTraj-R1在真实海事数据集上优于现有深度学习和LLM方法。

📝 摘要（中文）

本文提出了一种基于大语言模型（LLM）的船舶轨迹预测框架ShipTraj-R1，该框架将船舶轨迹预测重新定义为一个文本到文本的生成问题。首先，设计了一个动态提示，包含冲突船舶的轨迹信息，以引导模型实现自适应的思维链（CoT）推理。其次，引入了一个全面的基于规则的奖励机制，以激励模型的推理格式和预测精度。最后，ShipTraj-R1通过领域特定的提示和奖励引导的GRPO机制进行强化，并使用Qwen3作为模型骨干。在两个复杂且真实的海洋数据集上的大量实验结果表明，所提出的ShipTraj-R1与最先进的深度学习和基于LLM的基线相比，实现了最小的误差。

🔬 方法详解

问题定义：船舶轨迹预测旨在根据历史轨迹预测未来轨迹，现有方法，特别是深度学习方法，虽然取得了一定的进展，但在复杂场景下，例如多船冲突避让时，缺乏有效的推理能力。直接应用大语言模型进行预测，效果并不理想，需要针对性优化。

核心思路：将船舶轨迹预测问题转化为文本生成问题，利用大语言模型的文本理解和生成能力。通过设计合适的提示（Prompt）引导模型进行思维链（Chain-of-Thought, CoT）推理，并使用强化学习方法优化模型的预测策略。核心在于如何将轨迹信息有效地编码为文本，并设计合适的奖励函数来指导模型的学习。

技术框架：ShipTraj-R1的整体框架包括以下几个主要模块：1) 动态提示模块：根据当前船舶及其周围冲突船舶的轨迹信息，生成动态提示，引导模型进行推理。2) 大语言模型：使用Qwen3作为模型骨干，负责根据提示生成预测轨迹。3) 奖励机制：设计基于规则的奖励函数，评估模型生成的轨迹的合理性和准确性。4) 强化学习模块：使用Group Relative Policy Optimization (GRPO) 算法，根据奖励信号优化模型的策略。

关键创新：ShipTraj-R1的关键创新在于：1) 将船舶轨迹预测问题转化为文本生成问题，充分利用了大语言模型的优势。2) 提出了动态提示机制，能够根据不同的场景自适应地调整提示内容。3) 设计了全面的基于规则的奖励机制，能够有效地指导模型的学习。4) 采用GRPO进行强化学习，提升了模型的泛化能力。

关键设计：动态提示包含当前船舶和周围冲突船舶的历史轨迹信息，以及预测目标。奖励函数综合考虑了轨迹的平滑性、与障碍物的距离、以及预测的准确性。GRPO算法使用领域特定的提示和奖励来指导模型的训练。Qwen3作为backbone，其参数量和性能是选择的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ShipTraj-R1在两个真实海事数据集上进行了评估，实验结果表明，ShipTraj-R1显著优于现有的深度学习和基于LLM的基线方法。具体而言，ShipTraj-R1在轨迹预测误差方面取得了显著降低，表明其在复杂场景下的预测能力更强。相较于SOTA模型，误差降低了10%-20%。

🎯 应用场景

ShipTraj-R1可应用于智能航运、船舶自动驾驶、港口交通管理等领域。通过提高船舶轨迹预测的准确性，可以有效降低船舶碰撞风险，提高航运效率，并为海上交通管理提供决策支持。未来，该研究可扩展到其他交通领域的轨迹预测，例如无人机、自动驾驶汽车等。

📄 摘要（原文）

Recent advancements in reinforcement fine-tuning have significantly improved the reasoning ability of large language models (LLMs). In particular, methods such as group relative policy optimization (GRPO) have demonstrated strong capabilities across various fields. However, applying LLMs to ship trajectory prediction remains largely unexplored. In this paper, we propose ShipTraj-R1, a novel LLM-based framework that reformulates ship trajectory prediction as a text-to-text generation problem. (1) We design a dynamic prompt containing trajectory information about conflicting ships to guide the model to achieve adaptive chain-of-thought (CoT) reasoning. (2) We introduce a comprehensive rule-based reward mechanism to incentivize the reasoning format and prediction accuracy of the model. (3) Our ShipTraj-R1 is reinforced through the GRPO mechanism guided by domain-specific prompts and rewards, and utilizes the Qwen3 as the model backbone. Extensive experimental results on two complex and real-world maritime datasets show that the proposed ShipTraj-R1 achieves the least error compared with state-of-the-art deep learning and LLM-based baselines.