DeepInsight: A Unified Evaluation Infrastructure Across the Physical AI Stack
作者: Siyi Li, Chunyu Sun, Jiahao Zhang, Yuchen Kang, Wuliang Wang, Yu Qiu, Rui Jiang, Haitao Cui, Jie Chen
分类: cs.AI
发布日期: 2026-06-16
💡 一句话要点
提出DeepInsight以解决物理AI栈评估的统一性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理AI栈 评估框架 跨层回归 统一基础设施 具身机器人 事件驱动 资源管理
📋 核心要点
- 现有评估框架无法覆盖物理AI栈的广泛操作，导致跨层回归诊断困难。
- DeepInsight通过统一的运行时和三种抽象（任务、资源、结果）来解决这一问题，保留各层的异质性。
- 在具身人形机器人栈的生产环境中，DeepInsight能够快速运行基准测试，并实现近线性扩展。
📝 摘要（中文）
评估物理AI栈涉及的操作差异超过三个数量级，从单个基础模型解码步骤到数千个全身控制的物理时钟。现有框架无法覆盖这一范围，导致评估过程需要将不同的测试环境拼接在一起，虽然保留了局部有效性，但失去了跨层回归诊断所需的共享身份。本文提出DeepInsight，一个在单一运行时下服务于这一全谱的评估基础设施。它通过任务、资源和结果三种抽象，保留了各个子系统的异质性，并在生产环境中应用于具身人形机器人栈的所有三个层面。
🔬 方法详解
问题定义：本文旨在解决物理AI栈评估中的统一性问题。现有方法通过拼接不同的测试环境进行评估，虽然局部有效，但缺乏跨层的共享身份，导致回归诊断困难。
核心思路：DeepInsight的核心思想是通过一个统一的运行时和三种抽象（任务、资源、结果）来实现对不同操作的评估，保留各层的异质性，同时提供共享的追踪机制。
技术框架：DeepInsight的整体架构包括一个集成的事件驱动程序、一个资源处理协议和一个追踪身份方案。每个子系统都遵循这些不变的协议，从而实现高效的评估。
关键创新：DeepInsight的主要创新在于其能够在一个共享追踪下实现跨层的回归诊断，这是现有方法无法实现的。通过这种设计，回归问题可以在发生的层面上被精确定位。
关键设计：在设计中，DeepInsight采用了单一的事件驱动程序和资源处理协议，确保所有子系统能够高效地共享信息。此外，追踪身份方案使得每个事件都能被准确记录，便于后续的分析和诊断。
🖼️ 关键图片
📊 实验亮点
DeepInsight在具身人形机器人栈的评估中表现出色，能够在单节点上更快地运行相同的测试套件，并在节点扩展时实现近线性的性能提升。这种高效的评估能力为跨层回归诊断提供了新的可能性。
🎯 应用场景
DeepInsight的潜在应用领域包括机器人控制、智能制造和自动驾驶等物理AI系统的评估。通过提供统一的评估基础设施，能够显著提高这些系统的开发效率和可靠性，推动相关技术的进步和应用落地。
📄 摘要（原文）
Evaluating a Physical AI stack spans operators that differ by more than three orders of magnitude -- from a single foundation-model decoding step to thousands of physics ticks of whole-body control -- varying orthogonally in modality, reward semantics, and resource profile. No existing framework spans this range, so the stack is evaluated today by stitching together separate harnesses that share neither runtime nor scoring, preserving each segment's local validity but losing the shared identity needed to diagnose cross-layer regressions. We present DeepInsight, an evaluation infrastructure that serves this full spectrum on a single runtime. Rather than homogenize the regimes, it preserves their heterogeneity behind three narrow abstractions -- task, resource, and result -- each realized as one invariant shared by every subsystem: one episode driver, one resource-handle protocol implemented by every expensive backend (LLM inference and sandboxed runtimes alike), and one trace identity scheme under which every event is written. Deployed in production across all three layers of an embodied humanoid stack, this single set of invariants onboards new benchmarks largely by configuration. Where mature peer orchestrators exist -- at the foundation-model end -- it reproduces published references and peer-framework readings within their own spread, runs the same suites faster on a single node, and scales near-linearly across nodes. Its distinctive return is diagnostic: because every layer writes into one shared trace, a regression that begins in one layer and surfaces in another stays localizable on that trace -- a cross-layer payoff no federation of per-segment harnesses can reproduce.