A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

📄 arXiv: 2607.01400 📥 PDF

作者: Barada Sahu, Shivesh Pandey

分类: cs.SE, cs.LG, bio.NC

发布日期: 2026-07-05

💡 一句话要点

提出TRIBE模型以预测YouTube视频的观众重播行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑编码模型 fMRI 观众行为 多模态分析 视频重播 深度学习 TRIBE模型

📋 核心要点

  1. 现有的脑编码模型虽然能高精度预测fMRI反应，但尚未验证其对观众行为参与的预测能力。
  2. 本文提出使用TRIBE模型，将其预测的皮层反应转化为每秒的参与曲线，并与观众重播行为进行比较。
  3. 实验结果显示，TRIBE模型的预测与观众重播行为之间的相关性接近于零，未能提供有效的预测能力。

📝 摘要（中文）

深度多模态脑编码模型现已能够高精度预测自然视频的fMRI反应。然而，这些预测的神经信号是否能预示观众的行为参与尚不明确。本文使用TRIBE模型对48个YouTube视频进行分析，将其预测的皮层反应简化为每秒的参与曲线，并与视频的“最重播”热图进行相关性分析。结果显示，该曲线未能有效预测重播行为，相关性接近于零，且未显著高于简单的响度和运动基线。该研究提供了代码和视频ID清单，尽管YouTube的SABR流媒体限制，仍能有效获取数据。

🔬 方法详解

问题定义：本文旨在解决深度多模态脑编码模型在预测观众重播行为方面的不足。现有方法未能有效验证其预测的神经信号是否能反映观众的行为参与。

核心思路：通过使用TRIBE模型，作者将预测的皮层反应简化为每秒的参与曲线，并与YouTube视频的重播热图进行相关性分析，以评估其预测能力。

技术框架：研究流程包括数据收集、TRIBE模型的应用、参与曲线的生成以及与重播热图的相关性分析。主要模块包括视频数据处理、模型预测和统计分析。

关键创新：该研究的创新点在于将深度学习模型的输出与实际观众行为进行直接对比，揭示了现有模型在预测重播行为方面的局限性。

关键设计：在模型设计中，使用了Llama-3.2、V-JEPA2和Wav2Vec-BERT等技术，确保了多模态数据的有效融合，同时采用了位置控制的部分相关性分析方法。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，TRIBE模型的预测与观众重播行为之间的相关性为+0.058，95%置信区间为[-0.04, 0.15]，未显著高于简单的响度和运动基线，显示出该模型在预测重播行为方面的局限性。

🎯 应用场景

该研究的潜在应用领域包括视频内容创作、广告投放和用户行为分析。通过理解观众的重播行为，内容创作者可以优化视频结构和内容，以提高观众的参与度和满意度。未来，该研究可能推动更精准的观众行为预测模型的发展。

📄 摘要（原文）

Deep multimodal brain-encoding models now predict fMRI responses to naturalistic video with high accuracy. Whether their predicted neural signals also forecast behavioral engagement is unknown. We run TRIBE, the winning model of the 2025 Algonauts brain-encoding challenge (Llama-3.2 + V-JEPA2 + Wav2Vec-BERT), on 48 YouTube videos and reduce its predicted cortical response to a per-second engagement curve, the global field power. Correlated against each video's "most replayed" heatmap, a passively-collected proxy for which moments viewers return to, the curve shows no evidence of predicting re-watch behavior. The pooled position-controlled partial correlation is +0.058 (95% CI [-0.04, 0.15]; one-sample t(47)=1.21, p=0.23), indistinguishable from zero and not significantly above simple loudness and motion baselines (loudness +0.04, paired p=0.74). The raw correlation is also near zero; the moderate values reported for music videos reflect a genre-specific intro/onset-replay artifact rather than content prediction, and do not generalize. The null holds across six cortical-network readouts and under an autocorrelation-preserving permutation test. We release the code, the video-ID manifest, and an acquisition method that works despite YouTube's SABR-only streaming.