DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?
作者: Jadelynn Dao, Milan Ganai, Yasmina Abukhadra, Ajay Sridhar, Mozhgan Nasr Azadani, Katie Luo, Clark Barrett, Jiajun Wu, Chelsea Finn, Marco Pavone
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-06-10
💡 一句话要点
提出DIRECT框架以优化嵌入式规划中的测试时间计算分配
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 嵌入式规划 视觉-语言模型 动态计算分配 多模态融合 机器人操作
📋 核心要点
- 现有方法在测试时间计算的扩展上存在延迟和资源浪费的问题，导致下游任务的成功率提升不明显。
- 论文提出DIRECT框架，通过多模态场景上下文动态分配计算资源，以优化嵌入式规划的性能。
- 实验表明，DIRECT在多个扩展轴上均表现出显著的能力提升，且在实际应用中成功率与延迟表现优于传统方法。
📝 摘要（中文）
随着视觉-语言模型（VLMs）在嵌入式代理中的应用日益广泛，测试时间计算的扩展策略被提出以提升能力。然而，这种做法往往导致延迟、令牌使用和FLOPs的增加，同时在下游成功率上收益不均，限制了嵌入式代理的应用场景。本文提出DIRECT，一个利用多模态场景上下文为每个提示分配计算资源的路由框架，从而在固定模型选择的基础上改善成功-成本的Pareto前沿。实验结果表明，测试时间计算并非均匀的杠杆，不同的扩展轴带来了质的能力提升。我们在物理Franka手臂的DROID设置中验证了这些见解，结果显示DIRECT在平均延迟降低65%的情况下，成功率与更强模型相当或更高。最终，结果表明简单地扩展测试时间计算是浪费的，而DIRECT能够以较低成本提供前沿水平的嵌入式规划。
🔬 方法详解
问题定义：本文旨在解决在嵌入式规划中测试时间计算的非均匀性问题。现有方法在扩展计算资源时，往往导致延迟增加和成功率提升不均，限制了实际应用场景。
核心思路：DIRECT框架的核心思想是利用多模态场景上下文信息，根据不同提示动态分配计算资源，从而在保证性能的同时降低计算成本。这样的设计使得计算资源的使用更加高效，避免了不必要的浪费。
技术框架：DIRECT框架包括多个主要模块：首先是输入的多模态场景信息的处理模块，其次是计算资源分配的路由模块，最后是基于分配结果的嵌入式规划执行模块。整体流程是先分析场景上下文，再决定计算资源的分配，最后执行规划任务。
关键创新：DIRECT的主要创新在于其动态计算资源分配机制，与传统的固定模型选择方法相比，能够根据具体任务的需求灵活调整计算资源，从而实现更优的性能和效率。
关键设计：在设计上，DIRECT框架考虑了多个参数设置，包括计算资源的分配策略、损失函数的设计以及模型的结构优化等。这些细节确保了框架在不同任务和场景下的适应性和高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DIRECT框架在多个扩展轴上均实现了显著的能力提升，成功率与更强模型相当或更高，同时平均延迟降低了65%。这一结果表明，DIRECT在嵌入式规划中具有优越的性能和效率。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过优化计算资源的分配，DIRECT框架能够在实际应用中提高嵌入式代理的性能，降低成本，推动智能系统的普及和发展。
📄 摘要（原文）
Vision-Language Models (VLMs) are increasingly deployed as high-level planners for embodied agents, with an emerging strategy of scaling test-time compute to improve capability. However, we observe that doing so increases latency, token usage, and FLOPs while yielding uneven, often diminishing gains in downstream success, limiting where embodied agents can be deployed. We argue that choosing when and where to spend test-time compute is central to bringing frontier performance to the real world. We introduce DIRECT, a routing framework that uses multimodal scene context to allocate compute per prompt, improving the success--cost Pareto frontier over fixed model selection. Across three dominant scaling axes, namely chain-of-thought depth, model size, and memory history, our experiments on VLABench and RoboMME show that test-time compute is not a uniform lever: different axes yield qualitatively distinct capability gains. We validate these insights on a physical Franka arm in a DROID setup spanning zero-shot manipulation and long-horizon chaining, where our router matches or exceeds a stronger model's success rate at up to 65% lower average latency. Ultimately, our results show that naively scaling test-time compute is wasteful, and that DIRECT can provide frontier-level embodied planning in robotic systems at a fraction of the cost. Project page can be found at jadee-dao.github.io/direct/.