When to Act: Calibrated Confidence for Reliable Human Intention Prediction in Assistive Robotics

📄 arXiv: 2601.04982v1 📥 PDF

作者: Johannes A. Gaus, Winfried Ilg, Daniel Haeufle

分类: cs.RO, cs.AI

发布日期: 2026-01-08

💡 一句话要点

提出基于校准置信度的触发框架，提升辅助机器人人类意图预测的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 辅助机器人 意图预测 置信度校准 多模态融合 安全关键系统

📋 核心要点

  1. 现有辅助机器人意图预测模型置信度与实际准确率不匹配，导致潜在安全问题。
  2. 通过后验校准方法，对齐模型置信度与经验可靠性，提高意图预测的安全性。
  3. 实验表明，该方法显著降低了错误校准，并实现了可验证的辅助控制行为。

📝 摘要（中文）

辅助设备在提供支持前，必须确定用户的意图以及预测的可靠性。本文提出了一种基于校准概率的安全关键触发框架，用于日常活动中多模态下一动作预测。原始模型的置信度通常不能反映真实的正确性，构成安全风险。后验校准将预测置信度与经验可靠性对齐，并在不影响准确性的前提下，将错误校准降低约一个数量级。校准后的置信度驱动一个简单的ACT/HOLD规则，仅当可靠性高时才执行动作，否则暂停辅助。这使得置信度阈值成为辅助动作的一个定量安全参数，并在辅助控制回路中实现可验证的行为。

🔬 方法详解

问题定义：论文旨在解决辅助机器人中人类意图预测的可靠性问题。现有方法中，模型输出的置信度往往不能准确反映预测的正确性，即模型高置信度的预测可能实际上是错误的，这在辅助机器人应用中会带来安全隐患，例如错误地执行了用户的非预期动作。因此，需要一种方法来提高模型置信度的可靠性，使其能够准确反映预测的正确概率。

核心思路：论文的核心思路是对模型输出的置信度进行校准，使其与实际的预测准确率相匹配。通过后验校准方法，调整模型的置信度输出，使得高置信度的预测确实具有较高的正确率，从而提高辅助机器人决策的安全性。这种校准过程不影响模型的原始预测准确率，只改变置信度的分布。

技术框架：该框架包含以下几个主要步骤：1) 使用多模态数据（例如视觉、语音、力觉等）训练一个意图预测模型，该模型输出预测的动作类别以及对应的置信度。2) 使用校准数据集，对模型的置信度进行后验校准。论文中可能采用了诸如温度缩放、等渗回归等校准方法。3) 基于校准后的置信度，设计一个ACT/HOLD规则，即当校准后的置信度高于某个阈值时，执行预测的动作（ACT）；否则，暂停辅助（HOLD）。

关键创新：该论文的关键创新在于将置信度校准应用于辅助机器人的人类意图预测，并将其与安全关键的触发框架相结合。通过校准置信度，使得辅助机器人能够更可靠地判断何时应该执行辅助动作，从而提高了系统的安全性。此外，ACT/HOLD规则将置信度阈值转化为一个可量化的安全参数，使得系统的行为更加可验证。

关键设计：论文的关键设计可能包括：1) 选择合适的后验校准方法，例如温度缩放或等渗回归，并针对特定的意图预测模型进行优化。2) 设计合适的ACT/HOLD规则，包括选择合适的置信度阈值，该阈值需要在准确率和安全性之间进行权衡。3) 针对特定的辅助机器人应用场景，选择合适的多模态输入数据，并设计相应的特征提取方法。

📊 实验亮点

论文通过实验验证了所提出的校准方法能够显著降低意图预测模型的错误校准程度，降低幅度达到一个数量级，同时保持了原始模型的预测准确率。实验结果表明，基于校准置信度的ACT/HOLD规则能够有效地提高辅助机器人的安全性，并实现可验证的辅助控制行为。具体的性能数据（例如准确率、召回率、错误率等）和对比基线（例如未校准的模型）需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种辅助机器人场景，例如：辅助老年人日常生活、辅助残疾人完成特定任务、以及人机协作的工业机器人等。通过提高意图预测的可靠性，可以显著提升辅助机器人的安全性和用户体验，并为实现更智能、更自主的辅助机器人奠定基础。未来，该技术有望扩展到更广泛的人工智能安全关键应用领域。

📄 摘要（原文）

Assistive devices must determine both what a user intends to do and how reliable that prediction is before providing support. We introduce a safety-critical triggering framework based on calibrated probabilities for multimodal next-action prediction in Activities of Daily Living. Raw model confidence often fails to reflect true correctness, posing a safety risk. Post-hoc calibration aligns predicted confidence with empirical reliability and reduces miscalibration by about an order of magnitude without affecting accuracy. The calibrated confidence drives a simple ACT/HOLD rule that acts only when reliability is high and withholds assistance otherwise. This turns the confidence threshold into a quantitative safety parameter for assisted actions and enables verifiable behavior in an assistive control loop.