Deep Thought Alignment: Trajectory-Level Latent Distillation for Video Reasoning

📄 arXiv: 2608.16316v1 📥 PDF

作者: Ao Shen, Yongheng Zhang, Yinghui Li, Manning Wang, Di Yin, Xing Sun

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-08-17

💡 一句话要点

提出Latent-OPD以解决视频推理中的蒸馏效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 潜在蒸馏 在线策略蒸馏 多模态模型 复杂证据聚合

📋 核心要点

  1. 现有的视频推理方法在处理多帧信息时，输出级监督无法有效约束推理过程中形成的潜在表示。
  2. 本文提出Latent-OPD，通过轨迹级潜在蒸馏增强了在线策略蒸馏，聚焦于轨迹末端的隐藏状态。
  3. 在六个视频推理基准上，Latent-OPD相较于仅输出的OPD方法表现更佳，尤其在复杂任务中提升明显。

📝 摘要（中文）

大型多模态模型（LMMs）在视频推理中面临高计算成本的挑战，限制了其在小型高效模型中的应用。为此，本文提出了一种名为Latent-OPD的方法，通过轨迹级潜在蒸馏增强了现有的在线策略蒸馏（OPD）。该方法关注每个轨迹末端的隐藏状态，有效总结了累积的视觉证据和推理上下文。此外，论文引入了渐进式教师前瞻策略，使得中后层的学生网络与更深层的教师网络对齐。实验结果表明，Latent-OPD在六个视频推理基准上表现优异，尤其在帧数有限、视频较长或需要复杂证据聚合的任务中，提升效果显著。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在视频推理中的高计算成本问题。现有的在线策略蒸馏方法仅依赖输出级监督，无法有效捕捉推理过程中潜在表示的变化。

核心思路：Latent-OPD通过引入轨迹级潜在蒸馏，关注每个轨迹末端的隐藏状态，从而更好地总结累积的视觉证据和推理上下文。这种设计使得模型在推理过程中能够更有效地利用信息。

技术框架：整体架构包括学生网络和教师网络，学生网络生成轨迹并进行输出，而教师网络则提供潜在表示的指导。通过渐进式教师前瞻策略，学生网络的中后层与教师网络的深层进行对齐，确保信息的有效传递。

关键创新：Latent-OPD的主要创新在于引入轨迹级潜在蒸馏，突破了传统输出级监督的限制，使得模型在推理时能够更全面地利用上下文信息。

关键设计：在参数设置上，论文对损失函数进行了优化，以平衡输出级和潜在级的监督。此外，网络结构设计上，学生和教师网络的层次对齐策略是实现性能提升的关键。通过这些设计，Latent-OPD在复杂视频推理任务中展现出更高的效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个视频推理基准测试中，Latent-OPD方法相较于传统的输出级OPD方法表现出显著提升，尤其在帧数有限和长视频的情况下，性能提升幅度达到XX%（具体数据需查阅原文）。这些结果表明，Latent-OPD在复杂证据聚合任务中具有更强的适应性和有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够有效提升视频分析的效率和准确性。随着视频数据量的不断增加，Latent-OPD的高效推理能力将为实时视频理解提供重要支持，推动相关领域的发展。

📄 摘要（原文）

Large Multimodal Models (LMMs) for video reasoning have long been hindered by the high computational cost of processing vast amounts of visual information. This dilemma motivates the transfer of the reasoning capabilities of large models to smaller, more efficient ones. On-Policy Distillation (OPD) offers a promising solution by matching output-token distributions along student-generated trajectories. However, video reasoning often depends on evidence accumulated across multiple frames. In this context, output-level supervision only captures information expressed through token predictions and does not directly constrain the latent representations formed during reasoning. To address this limitation, we propose Latent-OPD, which augments OPD with trajectory-level latent distillation. Specifically, our method focuses on the position at the end of each trajectory, where hidden states effectively summarize the accumulated visual evidence and reasoning context. Furthermore, we introduce a progressive teacher-lookahead strategy, which aligns middle-to-late student layers with increasingly deeper teacher layers. Experiments on six video reasoning benchmarks show that Latent-OPD consistently outperforms output-only OPD. Notably, the improvements are particularly pronounced in scenarios with limited frames, long videos, or tasks requiring complex evidence aggregation. These results establish Latent-OPD as a highly effective approach to frame-efficient video reasoning.