When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing

📄 arXiv: 2610.35497v1 📥 PDF

作者: Lei Zhao, Zongheng Cao, Xinyu Hu

分类: cs.LG

发布日期: 2026-10-26

备注: 48 pages. Project page: https://leizhao7.github.io/videoedit/

💡 一句话要点

提出多模态强化学习方法以优化视频编辑任务中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态强化学习 视频编辑 信用分配 过程奖励 在线自蒸馏 工具使用 长时间规划 任务复杂度

📋 核心要点

  1. 现有的多模态强化学习方法在细粒度信用分配上存在不确定性，导致学习效果不稳定。
  2. 本文提出了一种基于视频编辑的多模态强化学习框架，利用衰减过程奖励来优化任务表现。
  3. 实验表明，在复杂任务中，衰减过程奖励相较于传统方法提升了45.4%的性能，而在短期任务中提升有限。

📝 摘要（中文）

强化学习（RL）在训练多模态智能体以推理和使用工具方面展现出潜力。然而，细粒度信用分配何时能改善学习效果、何时又会导致性能下降仍不明确。视频编辑作为测试平台，结合了多模态感知、长时间规划和工具使用，并伴随延迟反馈。本文构建了四种电影预告片编辑任务类型，展示了不同复杂度和交互水平的真实编辑工作流程。实验结果表明，衰减过程奖励在复杂任务中显著提升了性能，而在短期任务中效果有限。尽管密集的标记级监督存在，在线自蒸馏（OPSD）对结果的改善微乎其微，且对特权信息的选择高度敏感。

🔬 方法详解

问题定义：本文旨在探讨细粒度信用分配在多模态强化学习中的作用，现有方法在不同任务复杂度下的表现不一，尤其是在视频编辑任务中。

核心思路：通过构建四种电影预告片编辑任务，结合衰减过程奖励，论文探讨了如何在不同任务复杂度下优化学习效果，避免过度推理和冗余工具调用。

技术框架：整体架构包括任务类型的设计、奖励机制的调整以及模型训练过程。主要模块包括内容选择、叙事排序、粗剪和精剪，分别对应不同的任务复杂度。

关键创新：论文的创新在于引入衰减过程奖励机制，显著改善了复杂任务的学习效果，且通过实验验证了这一机制的有效性。与现有方法相比，能够更好地平衡奖励与任务完成率。

关键设计：在参数设置上，过程奖励的权重逐渐衰减至零，以避免奖励黑客行为。同时，损失函数设计考虑了任务完成率与过程奖励的平衡，确保模型在训练过程中的稳定性。实验中还探讨了在线自蒸馏的敏感性问题。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在复杂的Fine Cut任务中，衰减过程奖励相较于传统的结果导向方法提升了45.4%的性能，而在短期任务中提升幅度最高仅为10.4%。此外，在线自蒸馏方法对结果的改善微乎其微，显示出对特权信息选择的高度敏感性。

🎯 应用场景

该研究的潜在应用领域包括视频编辑、游戏开发和多模态交互系统等。通过优化多模态智能体的学习过程，能够提升工具使用效率和任务完成质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) has shown promise for training multimodal agents to reason and use tools. However, it remains unclear when fine-grained credit assignment improves learning and when it fails to improve task performance. Video editing provides a useful testbed for this question, combining multimodal perception, long-horizon planning, and tool use with delayed outcome feedback. We construct four movie-trailer editing task types---Content Selection, Narrative Sequencing, Rough Cut, and Fine Cut---that reflect real-world editing workflows and span different levels of task complexity and interaction horizon. Decaying process rewards provides the largest benefit on Fine Cut, with a 45.4% relative gain over outcome-only GRPO on tasks averaging more than 60 turns under outcome-only GRPO. On the three shorter-horizon task types averaging 30--40 turns under the same baseline, outcome-only GRPO remains competitive, with decaying process rewards yielding at most a 10.4% relative gain. Process rewards from an LLM judge initially improve tool use and encourage visual inspection. As training progresses, however, GRPO+PRM with a fixed process-reward weight increasingly exhibits excessive reasoning and redundant tool calls: process rewards continue to rise while task completion rates and outcome scores decline. Decaying the process-reward weight to zero mitigates this reward-hacking behavior while preserving the early gains. Despite dense token-level supervision, on-policy self-distillation (OPSD) yields little improvement or substantial degradation and is highly sensitive to the choice of privileged information. Our analysis reveals differences in teacher--student disagreement and gradient magnitudes, and suggests possible dilution of informative signals over long trajectories.