When Is a Task Vector Enough? An Empirical Theory of Implicit Multimodal ICL
作者: Jiaqian Li
分类: cs.CV
发布日期: 2026-08-13
备注: Accepted by Empirical Theory in Representation Learning @ ECCV 2026, Oral
💡 一句话要点
提出选择-实现假设以优化多模态内在学习任务
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐式多模态学习 上下文学习 选择-实现假设 示例诱导 查询依赖性 模型计算限制 多模态任务 干预策略
📋 核心要点
- 现有的隐式多模态学习方法在干预依赖查询的方式和模型修改位置上存在显著差异，导致复杂性需求不明确。
- 论文提出选择-实现假设，认为示例诱导的内部变化由查询选择，而模型计算限制了变化的实现方式。
- 实验结果显示，静态任务向量的有效性与示例变化的共享程度相关，额外复杂性在特定结构时显得必要。
📝 摘要（中文）
隐式多模态上下文学习将示例压缩为内部干预，从静态任务向量到查询条件变换和注意力路由。尽管这些方法的目标相同，但它们在干预如何依赖查询以及如何修改模型方面存在显著差异，导致不清楚在特定任务中需要多少额外复杂性。我们提出选择-实现假设，认为示例诱导出一组紧凑的内部变化，查询从中选择，而模型的计算限制了所选变化的实现方式。通过对比正确示例与匹配的反事实，我们评估了显式多模态内在学习的结构，并测试其是否能预测干预行为。结果表明，静态任务向量的成功与示例诱导变化在查询间的共享程度密切相关。额外的干预复杂性在显式多模态内在学习包含查询特定或分布结构时变得有用。
🔬 方法详解
问题定义：本论文旨在解决隐式多模态上下文学习中，干预依赖查询的复杂性需求不明确的问题。现有方法在处理不同查询时的表现差异较大，导致无法有效选择合适的干预策略。
核心思路：论文提出选择-实现假设，认为示例诱导的内部变化形成一个紧凑的变化家族，查询从中选择适当的变化，而模型的计算方式限制了这些变化的实现。这种设计旨在明确干预的必要复杂性。
技术框架：整体架构包括示例诱导的变化生成、查询选择机制和模型计算限制三个主要模块。首先，通过示例生成内部变化；然后，查询选择适合的变化；最后，模型根据选择的变化进行计算。
关键创新：最重要的技术创新在于选择-实现假设的提出，它为理解干预的复杂性提供了新的视角，与现有方法相比，强调了查询依赖性和模型计算的相互作用。
关键设计：在实验中，采用了对比正确示例与反事实的方式来评估干预效果，关键参数包括示例的选择策略和变化的实现方式，这些设计确保了实验的有效性和结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，静态任务向量的成功与示例诱导变化在查询间的共享程度密切相关。额外的干预复杂性在显式多模态内在学习包含查询特定或分布结构时变得有用，支持了成本意识的策略选择。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等多模态任务。通过优化干预策略，可以提高模型在特定任务上的表现，降低计算成本，未来可能推动更高效的多模态学习系统的发展。
📄 摘要（原文）
Implicit multimodal in-context learning compresses demonstrations into internal interventions, ranging from static task vectors to query-conditioned transformations and attention routing. Despite their common goal, these methods differ substantially in how the intervention depends on the query and where it modifies the model, leaving unclear which additional complexity is necessary for a given task. We propose the Selection--Realization Hypothesis. It views demonstrations as inducing a compact family of internal changes from which the query selects, while the model's computation constrains how the selected change can be implemented. We evaluate this account using controlled multimodal tasks in which query dependence varies without changing the underlying task primitives or prompt format. By contrasting correct demonstrations with matched counterfactuals, we measure the structure of explicit M-ICL and test whether it predicts intervention behavior. We find that the success of a static task vector is closely tied to how much of the demonstration-induced change is shared across queries. Additional intervention complexity becomes useful when explicit M-ICL contains query-specific or distributed structure that a local additive shift cannot recover. These relationships extend to natural VQA benchmarks and support cost-aware method selection without access to test performance. Our results provide a unified empirical theory of when demonstrations can be compressed into a task vector and when a more expressive intervention is warranted.