Compositional Failure in Audio-Visual LLMs: Late-Layer Prior Dominance Under Cross-modal Conflict

📄 arXiv: 2608.27785v1 📥 PDF

作者: Adarsh Sudheer, David Li, Omar Elbanna, Ishaan Kodarapu, Arjun Bahuguna, Vasu Sharma

分类: cs.CL, cs.AI

发布日期: 2026-08-27

备注: Accepted to the 2nd Workshop on Compositional Learning at ICML 2026. 7 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

研究音频-视觉LLM中的组合失败问题，提出新分析方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频-视觉模型 组合泛化 跨模态冲突 机制可解释性 决策机制 多模态融合 模型评估

📋 核心要点

  1. 现有音频-视觉大语言模型在处理同步但语义不兼容的音频和视频时表现不佳，导致准确率低下。
  2. 论文提出通过机制可解释性分析，探讨后层对答案模式的承诺如何影响模型在跨模态冲突下的表现。
  3. 实验结果显示，VideoLLaMA 2-7B-AV在特定任务上接近随机表现，InternVideo2在冲突情况下准确率下降32.3%。

📝 摘要（中文）

本研究探讨了音频-视觉冲突作为音频-视觉大语言模型（AV-LLMs）的组合泛化测试。模型需结合同步但语义不兼容的音频和视频证据，判断二者是否匹配。尽管输出先验发生显著变化，VideoLLaMA 2-7B-AV在AVHBench的精确字符串是/否子集上仍接近随机。现成的InternVideo2在跨模态冲突下准确率下降32.3%，指令遵循失败率为17.3%。我们称这种失败模式为先验主导：后层对内部偏好答案模式的承诺，弱于冲突输入的基础。通过机制可解释性分析，我们发现承诺集中在25.5±1层。更强的时间对齐改变了答案偏差，但未改善组合冲突解决。代码和数据可在https://github.com/AdarshSudheer09/AVHBench-dmai获取。

🔬 方法详解

问题定义：本研究旨在解决音频-视觉大语言模型在处理跨模态冲突时的组合失败问题。现有方法在面对语义不兼容的输入时，表现出显著的准确率下降，无法有效判断音频与视频的匹配关系。

核心思路：论文的核心思路是通过机制可解释性分析，揭示模型在后层对特定答案模式的承诺如何导致先验主导现象，从而影响模型的决策能力。

技术框架：整体架构包括输入音频和视频数据的预处理模块、特征提取模块、决策模块以及输出结果的后处理模块。每个模块在处理跨模态信息时都需考虑时间对齐和语义一致性。

关键创新：本研究的关键创新在于识别并分析了“先验主导”现象，即模型在后层对内部偏好答案的承诺，且这种承诺与输入的冲突信息关联较弱。这一发现为理解模型的决策机制提供了新的视角。

关键设计：在实验中，模型的层数设置为25.5±1层，采用特定的损失函数来优化跨模态对齐效果。通过调整时间对齐参数，研究发现虽然可以改变答案偏差，但并未显著提升组合冲突的解决能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VideoLLaMA 2-7B-AV在AVHBench的精确字符串是/否子集上接近随机表现，而InternVideo2在跨模态冲突下准确率下降32.3%，指令遵循失败率为17.3%。这些数据突显了当前模型在处理组合冲突时的局限性。

🎯 应用场景

该研究的潜在应用领域包括多模态信息处理、智能监控系统和人机交互等。通过改进音频-视觉模型的决策能力，可以提升自动化系统在复杂环境下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study audio-visual conflict as a compositional generalization test for AV-LLMs: the model must combine synchronized but semantically incompatible audio and video evidence and decide whether the pair matches. On VideoLLaMA 2-7B-AV, three alignment configurations remain nearchance on the scored exact-string Yes/No subset of AVHBench, even though their output priors shift substantially. Similarly, off-the-shelf InternVideo2 experienced a 32.3% accuracy decrease specifically under cross-modal conflict, accompanied by a 17.3% instruction-following failure. We call this failure mode prior dominance: late-layer commitment to an internally preferred answer pattern that is weakly grounded in the conflicting inputs. To explain this behavior, we conduct a mechanistic interpretability analysis and find that commitment remains concentrated at 25.5 $\pm$ 1 layers. We show that stronger temporal alignment changes answer bias, but do not improve compositional conflict resolution. Code and data to reproduce our mechanistic audit and behavioral evaluations are available at https://github.com/AdarshSudheer09/AVHBench-dmai.