Digital Twin-Guided Robot Path Planning: A Beta-Bernoulli Fusion with Large Language Model as a Sensor

📄 arXiv: 2509.20709v1 📥 PDF

作者: Mani Amani, Reza Akhavian

分类: cs.RO

发布日期: 2025-09-25

💡 一句话要点

提出基于数字孪生的机器人路径规划方法，融合LLM语义理解提升路径安全性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人路径规划 数字孪生 自然语言处理 大型语言模型 贝叶斯融合 建筑信息模型 人机交互

📋 核心要点

  1. 现有机器人路径规划方法难以有效融合自然语言指令，尤其是在建筑环境中，缺乏对环境语义信息的理解。
  2. 该方法利用Beta-Bernoulli贝叶斯融合框架，将LLM的语义理解能力融入到机器人路径规划中，提升路径的安全性。
  3. 仿真结果表明，该方法在路径的鲁棒性和有效性方面均有提升，验证了LLM作为传感器在机器人路径规划中的可行性。

📝 摘要（中文）

本文提出了一种新颖的框架，将自然语言（NL）指令集成到机器人任务规划中，尤其是在建筑领域。该框架通过Beta-Bernoulli贝叶斯融合，将NL指令与BIM导出的语义地图相结合，并将大型语言模型（LLM）视为传感器。每个障碍物的设计时排斥系数被视为Beta(alpha, beta)随机变量，LLM返回的危险分数作为伪计数来更新alpha和beta。由此产生的后验均值产生一个连续的、上下文感知的排斥增益，用于增强基于欧几里德距离的势场，作为成本启发式。通过根据用户提示推断的情感和上下文调整增益，该方法引导机器人沿着更安全、更具上下文感知的路径。这提供了一种数值稳定的方法，可以链接来自建筑工人和工头的多个自然命令和提示，从而在规划时提供灵活性，并可集成到任何学习或经典AI框架中。仿真结果表明，这种Beta-Bernoulli融合在路径鲁棒性和有效性方面都产生了定性和定量的改进。

🔬 方法详解

问题定义：现有机器人路径规划方法在复杂环境中，尤其是在需要理解自然语言指令的场景下，面临挑战。传统的路径规划算法难以直接利用建筑信息模型（BIM）中蕴含的丰富语义信息，也无法有效整合来自人类操作者的自然语言指令，导致规划出的路径可能不够安全或不符合实际需求。现有方法缺乏一种有效的方式将自然语言的模糊性和不确定性转化为机器人可理解的量化指标。

核心思路：本文的核心思路是将大型语言模型（LLM）视为一种传感器，用于感知环境中的危险程度。通过自然语言指令，LLM可以提供关于环境中潜在危险的评估。然后，利用Beta-Bernoulli贝叶斯融合框架，将LLM的输出与BIM模型中的先验信息进行融合，从而得到一个更加准确和可靠的危险评估。这种方法能够将自然语言的语义信息转化为机器人路径规划的成本函数，引导机器人避开危险区域。

技术框架：该框架主要包含以下几个模块：1) BIM模型：提供环境的几何和语义信息。2) 自然语言指令：来自用户的自然语言指令，描述环境中的危险或需要避开的区域。3) LLM：将自然语言指令转化为危险分数。4) Beta-Bernoulli贝叶斯融合：将LLM的危险分数与BIM模型中的先验信息进行融合，得到后验危险评估。5) 路径规划器：利用后验危险评估作为成本函数，规划出安全的机器人路径。

关键创新：该方法最重要的创新点在于将LLM视为一种传感器，并利用Beta-Bernoulli贝叶斯融合框架将LLM的输出与BIM模型中的先验信息进行融合。这种方法能够有效地将自然语言的语义信息融入到机器人路径规划中，从而提升路径的安全性。与传统方法相比，该方法能够更好地理解自然语言指令，并根据指令调整路径规划策略。

关键设计：每个障碍物的设计时排斥系数被建模为Beta(alpha, beta)随机变量，其中alpha和beta是Beta分布的参数，代表了对障碍物危险程度的先验认知。LLM返回的危险分数被转化为伪计数，用于更新alpha和beta。后验均值作为连续的、上下文感知的排斥增益，用于增强基于欧几里德距离的势场。通过调整alpha和beta的值，可以控制LLM输出对最终路径规划的影响程度。

📊 实验亮点

仿真结果表明，该方法在路径鲁棒性和有效性方面均有提升。通过Beta-Bernoulli融合，机器人能够更好地避开危险区域，规划出更安全的路径。此外，该方法能够有效地整合来自用户的自然语言指令，根据指令调整路径规划策略，提高了路径规划的灵活性和适应性。

🎯 应用场景

该研究成果可应用于建筑、物流、仓储等多个领域。在建筑领域，可以引导机器人在施工现场安全地执行任务，例如材料搬运、焊接等。在物流和仓储领域，可以引导机器人避开危险区域，提高工作效率和安全性。未来，该方法可以扩展到更复杂的环境和任务中，例如灾后救援、自动驾驶等。

📄 摘要（原文）

Integrating natural language (NL) prompts into robotic mission planning has attracted significant interest in recent years. In the construction domain, Building Information Models (BIM) encapsulate rich NL descriptions of the environment. We present a novel framework that fuses NL directives with BIM-derived semantic maps via a Beta-Bernoulli Bayesian fusion by interpreting the LLM as a sensor: each obstacle's design-time repulsive coefficient is treated as a Beta(alpha, beta) random variable and LLM-returned danger scores are incorporated as pseudo-counts to update alpha and beta. The resulting posterior mean yields a continuous, context-aware repulsive gain that augments a Euclidean-distance-based potential field for cost heuristics. By adjusting gains based on sentiment and context inferred from user prompts, our method guides robots along safer, more context-aware paths. This provides a numerically stable method that can chain multiple natural commands and prompts from construction workers and foreman to enable planning while giving flexibility to be integrated in any learned or classical AI framework. Simulation results demonstrate that this Beta-Bernoulli fusion yields both qualitative and quantitative improvements in path robustness and validity.