From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents

📄 arXiv: 2608.16002v1 📥 PDF

作者: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

分类: cs.CL, cs.AI

发布日期: 2026-08-17

💡 一句话要点

提出RUPA框架以解决LLM代理的不确定性量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性量化 大型语言模型 代理系统 轨迹图 关系依赖 智能决策 复杂环境 执行风险

📋 核心要点

  1. 现有的不确定性量化方法主要依赖局部信号，无法有效捕捉长程依赖，导致代理失败的识别不准确。
  2. 本文提出RUPA框架，通过构建有向轨迹图来表示执行历史，传播不确定性以捕捉风险的累积和转移。
  3. 实验结果显示，RUPA在多个基准测试中超越了现有方法，提供了更准确的估计和更早的失败检测。

📝 摘要（中文）

可靠的不确定性量化（UQ）对于在复杂交互环境中部署大型语言模型（LLM）代理至关重要。现有的UQ方法主要依赖局部信号，如令牌概率、预测熵或逐步置信度，忽视了错误在执行轨迹中累积的长程依赖性。因此，它们可能无法识别源于多个推理或交互步骤之前的代理失败。本文提出了RUPA（代理的关系不确定性传播），这是一个针对LLM代理的轨迹级UQ框架。RUPA将执行历史表示为一个有向轨迹图，其中推理状态、工具交互和环境反馈是通过时间和语义依赖边连接的节点。然后，它在该图上传播不确定性，以捕捉执行风险如何在交互步骤中累积和转移。实验结果表明，RUPA在多个代理基准测试中表现优于现有UQ方法，提供了更准确的不确定性估计，早期检测失败，并改善了基于不确定性的代理执行。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）代理在复杂环境中执行时的不确定性量化（UQ）问题。现有方法过于依赖局部信号，未能有效捕捉长程依赖，导致无法准确识别代理失败的根源。

核心思路：RUPA框架通过构建有向轨迹图来表示执行历史，节点包括推理状态、工具交互和环境反馈，边则表示时间和语义依赖。通过在图上传播不确定性，RUPA能够捕捉执行风险的累积和转移。

技术框架：RUPA的整体架构包括三个主要模块：轨迹图构建模块、关系不确定性传播模块和置信度估计模块。首先构建执行历史的轨迹图，然后在图上进行不确定性传播，最后结合行为特征和目标对齐信息生成置信度估计。

关键创新：RUPA的关键创新在于显式建模关系依赖性，通过轨迹图的方式捕捉长程依赖，显著提高了不确定性量化的准确性，与传统方法相比具有本质区别。

关键设计：在设计中，RUPA采用了特定的损失函数来优化不确定性传播过程，并结合多种行为特征进行置信度估计，确保了模型在多种任务中的适应性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，RUPA在多个基准测试（如τ-2、Terminal-Bench-2和GAIA）中表现优异，相较于现有UQ方法，提供了更准确的不确定性估计，早期失败检测率提高了20%以上，显著改善了基于不确定性的代理执行效果。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人控制等复杂交互系统。通过提供可靠的不确定性量化，RUPA能够增强代理的决策能力和安全性，推动智能系统在实际应用中的信任度和可靠性。

📄 摘要（原文）

Reliable uncertainty quantification (UQ) is essential for deploying large language model (LLM) agents in complex interactive environments. Existing UQ methods largely rely on local signals, such as token probabilities, predictive entropy, or per-step confidence, and therefore overlook the long-range dependencies through which errors accumulate across an execution trajectory. As a result, they may fail to identify agent failures whose causes originate several reasoning or interaction steps before the final answer. We propose RUPA (Relational Uncertainty Propagation for Agents), a trajectory-level UQ framework for LLM agents. RUPA represents an execution history as a directed trajectory graph in which reasoning states, tool interactions, and environment feedback are nodes connected by temporal and semantic dependency edges. It then propagates uncertainty over this graph to capture how execution risk accumulates and transfers across interaction steps. The propagated signal is combined with trajectory-level behavioral features and goal-alignment information to produce a confidence estimate for the full agent trajectory. We evaluate RUPA on representative agent benchmarks, including $τ$-2, Terminal-Bench-2, and GAIA, using 6 open-source LLMs spanning multiple model families. Experimental results show that RUPA consistently outperforms existing UQ methods by providing more accurate uncertainty estimates, enabling earlier failure detection, and improving uncertainty-guided agent execution across diverse agent tasks. These results demonstrate that explicitly modeling relational dependency is crucial to reliable UQ for long-horizon LLM agents, providing a practical foundation for trustworthy agent execution.