Lift, Associate, and Fuse: A Decision-Centric Framework for 2D-to-3D Foundation Model Transfer
作者: Wentao Sun, Yiping Chen, John S. Zelek, Jonathan Li
分类: cs.CV
发布日期: 2026-08-21
备注: A framework to realize 3D segmentation
💡 一句话要点
提出LAF框架以解决2D到3D模型转移中的决策问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 三维感知 模型转移 决策框架 信息融合 系统比较 持久载体 智能体
📋 核心要点
- 现有的二维到三维模型转移方法在决策一致性和信息融合方面存在显著不足，导致系统在不同视图下表现不稳定。
- LAF框架通过五个操作符构建了一个决策中心的转移系统，明确了持久载体的特性和操作，提升了系统的可解释性和一致性。
- 实验结果表明，LAF框架能够有效诊断系统的不可逆失败，并提供了对现有系统的比较和未来改进的指导。
📝 摘要（中文）
将二维基础模型的预测转移到三维分割的方法通常按任务或表示进行分组，这种分组掩盖了决定系统在不同视图间保持一致性的关键决策。本文提出了Lift, Associate, and Fuse (LAF)框架，将转移系统表示为五个操作符：生成、关联、调和、融合和持久/查询。LAF定义了持久载体的明确契约，并识别出丢弃证据变得不可恢复的首个阶段。通过对161个系统的结构化审计协议，LAF提供了一种表示中立的方法，用于比较现有系统、诊断不可逆的失败，并为未来的智能体指定可修订的3D感知。
🔬 方法详解
问题定义：本文旨在解决现有二维到三维模型转移方法在决策一致性和信息融合方面的不足，尤其是在不同视图下的表现不稳定性。
核心思路：LAF框架通过定义五个操作符（生成、关联、调和、融合和持久/查询），提供了一个决策中心的转移系统，强调了持久载体的特性和操作，从而提升了系统的可解释性和一致性。
技术框架：LAF框架的整体架构包括五个主要模块：生成模块负责生成初步预测，关联模块用于将不同视图的证据关联，调和模块处理语义和粒度冲突，融合模块整合信息，持久/查询模块则管理持久状态和后续查询。
关键创新：LAF框架的创新在于其决策中心的设计，明确了持久载体的契约和操作，解决了现有方法中对决策过程缺乏清晰定义的问题。
关键设计：LAF框架中，持久载体的设计包括空间支持、语义状态、身份状态、不确定性、来源和支持的操作等关键参数，确保了系统在不同阶段的可操作性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LAF框架在161个系统的结构化审计中，成功识别出不可逆失败的关键阶段，并在决策一致性和信息融合方面显著提升了系统性能，提供了更为清晰的比较标准。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等，能够为这些领域中的三维感知和决策提供更为可靠的支持。通过提升模型在不同视图下的一致性，LAF框架有望推动智能体在复杂环境中的应用和发展。
📄 摘要（原文）
Methods that transfer predictions from two-dimensional foundation models into three-dimensional segmentation are commonly grouped by task or representation. Those groupings obscure the decisions that determine whether a system remains coherent across views: where image evidence is grounded, when observations become one identity, how semantic and granularity conflicts are handled, which information is fused, and what state survives for later queries. We introduce \textbf{Lift, Associate, and Fuse (LAF)}, a decision-centric framework that represents a transfer system as five operators: \textbf{Generate, Associate, Reconcile, Fuse, and Persist/Query}. LAF defines an explicit contract for the persistent carrier---its spatial support, semantic state, identity state, uncertainty, provenance, and supported operations---and identifies the first stage at which discarded evidence becomes unrecoverable. We operationalize the framework as a structured audit protocol and apply it to 161 systems available through 7 August 2026, spanning point-, field-, Gaussian-, object-, graph-, and memory-based carriers. Representation, temporal, relational, and feed-forward stress tests required no additional analytical stage after the final confirmation pass. The resulting decision traces expose four recurring properties: association does not establish identity; carrier design fixes both the query interface and correction boundary; rendered-view, native-3D, and proposal-level evaluations are not interchangeable; and qualifiers such as \emph{training-free}, \emph{real-time}, \emph{open-vocabulary}, and \emph{generalizable} are meaningful only when attached to a stage and a complete cost ledger. LAF therefore supplies a representation-neutral method for comparing existing systems, diagnosing irreversible failures, and specifying revisable 3D perception for future agents.