Rethinking Foundation Model Collaboration: Enhancing Specialized Models through Proxy Task Reasoning
作者: Hongyi Lin, Yang Liu, Jinhua Zhao, Xiaobo Qu
分类: cs.CV
发布日期: 2026-06-30
💡 一句话要点
提出FAT框架以增强基础模型与专用模型的协作能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 专用模型 任务分解 多模态推理 协作学习
📋 核心要点
- 现有方法在结构化预测任务中，基础模型与专用模型之间存在能力不匹配，导致性能不足。
- 论文提出FAT框架，通过将结构化预测任务分解为多个子任务，实现基础模型与专用模型的有效协作。
- 实验结果显示，ProxySelect在2D物体检测、3D物体检测、轨迹预测和语义分割等任务上，均显著提升了性能。
📝 摘要（中文）
基础模型在具身智能系统中的应用日益增多，但直接将其用于结构化预测任务时，往往需要精确的几何和数值估计，专用模型在这方面表现更强。这引发了一个关键问题：基础模型是否应替代任务特定预测器，还是应通过更符合其优势的任务进行协作？为此，本文提出了FAT框架，将协作视为任务分解，而非模型替代。FAT将结构化预测分解为专家预测、信息空间重构和基础模型代理推理。专家在原始输出空间中生成几何和物理有效的假设，而基础模型则在重构的多模态候选上执行选择或验证等有限代理任务。通过ProxySelect实例化该原则，实验结果表明，ProxySelect在多个任务上均显著提升了专用基线的性能，并在较低的计算成本下超越了直接的基础模型回归。
🔬 方法详解
问题定义：本文旨在解决基础模型与专用模型在结构化预测任务中的能力不匹配问题。现有方法往往直接替代专用模型，导致性能下降。
核心思路：提出FAT框架，将任务分解为专家预测、信息空间重构和基础模型代理推理，以实现两者的协作而非替代。这样的设计使得每种模型都能发挥其特长，提升整体性能。
技术框架：FAT框架包括三个主要模块：1) 专家预测模块，生成几何和物理有效的假设；2) 信息空间重构模块，重构多模态候选；3) 基础模型代理推理模块，执行选择或验证等任务。
关键创新：最重要的创新在于将协作视为任务分解，而非简单的模型替代。这一思路使得基础模型能够在专用模型的支持下，进行更有效的推理。
关键设计：在ProxySelect中，采用了特定的损失函数来优化专家预测和基础模型的协作效果，同时设计了适应多模态数据的网络结构，以确保信息的有效重构和推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ProxySelect在2D物体检测、3D物体检测、轨迹预测和语义分割任务上，均显著提升了专用基线的性能，且在计算成本上低于直接的基础模型回归，展示了协作的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和智能监控等。通过有效结合基础模型与专用模型，能够在复杂环境中实现更高效的决策和预测，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Foundation models are increasingly integrated into embodied intelligence systems, but directly assigning them structured prediction tasks requires precise geometric and numerical estimation, where specialized models often remain stronger. This capability mismatch raises a key question: should foundation models replace task-specific predictors, or should they collaborate through tasks better aligned with their strengths? We propose FAT, a foundation-model-augmented task-specific reasoning framework that treats collaboration as task decomposition rather than model replacement. FAT decomposes structured prediction into specialist prediction, information-space reconstruction, and foundation-model proxy reasoning. The specialist generates geometrically and physically valid hypotheses in the native output space, while the foundation model performs a bounded proxy task, such as selection or verification, over reconstructed multimodal candidates. We instantiate this principle as ProxySelect with a vision--language model. Across 2D object detection, 3D object detection, trajectory prediction, and semantic segmentation, ProxySelect consistently improves specialized baselines and substantially outperforms direct foundation-model regression at lower computational cost. These results suggest a general collaboration principle: specialized models preserve task-specific structure, while foundation models refine their hypotheses through contextual proxy reasoning.