Linguistic Relative Policy Optimization for Video Anomaly Reasoning

📄 arXiv: 2607.00654v1 📥 PDF

作者: Jiaxu Leng, Jiankang Zheng, Mengjingcheng Mo, Zhanjie Wu, Haosheng Chen, Ji Gan, Xinbo Gao

分类: cs.CV

发布日期: 2026-07-01

备注: Accepted at ICML 2026; 18 pages, 8 figures, 9 tables

💡 一句话要点

提出语言相对策略优化以解决视频异常检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频异常检测 多模态学习 语言模型 策略优化 无调优学习

📋 核心要点

  1. 现有视频异常检测方法依赖大量标注数据或专家设计的先验，限制了其在无人工干预下获取异常知识的能力。
  2. 本文提出的LRPO通过提炼多条推理轨迹的语义优势，形成语言表达的异常经验先验，进而引导模型输出。
  3. 在XD-Violence、UCF-Crime和UBnormal数据集上，LRPO在无调优条件下显著提升了检测性能，超越了现有方法。

📝 摘要（中文）

视频异常检测（VAD）结合多模态大语言模型展现出强大的潜力，但现有方法大多依赖于大规模标注或专家设计的先验知识，限制了其在尽量减少人工干预下获取异常知识的能力。为此，本文提出了语言相对策略优化（LRPO），该方法从多个推理轨迹中提炼群体相对语义优势，形成语言表达的异常经验先验，并通过将该先验注入上下文来引导模型输出分布，而无需更新任何参数。LRPO构建了两种互补的经验表示：一般经验捕捉跨场景的可转移异常偏好，而场景经验则建模上下文依赖的异常规则以进行针对性优化。为进一步提升学习的经验，本文引入了异常对齐奖励，指导轨迹优化以匹配人类风险偏好，并强化时间上有依据的推理。大量在XD-Violence、UCF-Crime和UBnormal上的实验表明，LRPO在无调优设置下显著超越现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决视频异常检测中对大量标注和专家先验依赖的问题。现有方法在获取异常知识时面临人工干预的限制，影响了其应用的广泛性。

核心思路：LRPO通过从多个推理轨迹中提炼群体相对语义优势，形成语言表达的异常经验先验，并将其注入模型上下文中，以引导输出分布，而无需进行参数更新。

技术框架：LRPO的整体架构包括两个主要模块：一般经验和场景经验。一般经验捕捉跨场景的异常偏好，而场景经验则专注于特定上下文中的异常规则。通过引入异常对齐奖励，优化轨迹以匹配人类风险偏好。

关键创新：LRPO的创新在于其通过语言表达的经验先验来引导模型，而不是依赖传统的参数更新。这种方法使得模型能够在无调优的情况下有效学习异常检测。

关键设计：在设计上，LRPO采用了异常对齐奖励机制，确保优化过程与人类的风险偏好相一致。此外，模型的经验表示通过多条推理轨迹的融合来实现，增强了其对异常检测的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在XD-Violence、UCF-Crime和UBnormal数据集上，LRPO在无调优设置下的检测性能显著提升，超越了现有最先进的方法，具体提升幅度达到XX%（具体数据未知）。这一结果表明LRPO在视频异常检测中的有效性和优越性。

🎯 应用场景

该研究在视频监控、公共安全和智能交通等领域具有广泛的应用潜力。通过减少对人工标注的依赖，LRPO能够加速异常检测系统的部署和优化，提升实时监控的效率和准确性。未来，该方法有望扩展到其他多模态数据分析任务中，推动智能监控技术的发展。

📄 摘要（原文）

Video anomaly detection (VAD) with multimodal large language models has shown strong potential, yet most existing methods still depend on large-scale annotations or expert-designed priors, limiting their ability to acquire anomaly knowledge with as little human intervention as possible. To address this, we propose Linguistic Relative Policy Optimization (LRPO), which distills group-relative semantic advantages from multiple reasoning trajectories into a linguistically expressed anomaly experience prior, and adapts the model by injecting this prior into the context to steer its output distribution without any parameter updates. LRPO builds two complementary experience representations: general experience captures transferable anomaly preferences across scenarios, while scenario experience models context-dependent anomaly rules for targeted refinement. To further improve the learned experience, we introduce an anomaly alignment reward that guides trajectory optimization to match human risk preferences and reinforce temporally grounded reasoning. Extensive experiments on XD-Violence, UCF-Crime, and UBnormal demonstrate that LRPO significantly outperforms existing state-of-the-art methods under tuning-free settings.