Reason or Recite: Complementary Specialists with an LLM Judge for Traffic Anomaly Reasoning

📄 arXiv: 2610.34993v1 📥 PDF

作者: Mayur Kulkarni

分类: cs.CV, cs.CL

发布日期: 2026-10-26

备注: 18 pages, 3 figures, 5 tables. Accepted at the AI City Challenge Workshop, ECCV 2026. 1st place in Track 3 (Traffic Anomaly Reasoning)

💡 一句话要点

提出Reason-or-Recite框架以解决交通异常推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通异常推理 视觉语言模型 多模态学习 结构化推理 自然语言生成

📋 核心要点

  1. 现有方法在交通异常推理中面临挑战，无法有效结合精确推理与开放式答案的需求。
  2. 论文提出的RoR框架通过两个专家模型分别处理结构化推理和答案生成，提升了模型的综合能力。
  3. RoR在2026年AI城市挑战赛中表现优异，获得了领域内排行榜第一的成绩，平均得分为0.6788。

📝 摘要（中文）

交通异常如碰撞、违规和突发危险需要视频理解超越简单检测，必须验证事件、描述场景并解释原因。现有的视觉语言模型在处理封闭式问题时倾向于精确的证据基础推理，而开放式答案则更依赖于与参考文本的相似性。为此，本文提出了Reason-or-Recite（RoR）框架，针对2026年AI城市挑战赛的交通异常推理任务，RoR通过重写官方思维链注释为结构化的时间基础模式，并对9B视觉语言模型进行LoRA微调，同时对27B模型进行量化微调以吸收注释风格，最后通过无训练的LLM评判器在两个候选答案中进行选择。RoR在领域内排行榜中名列第一，平均得分为0.6788。

🔬 方法详解

问题定义：本论文旨在解决交通异常推理中的多重挑战，现有方法在处理封闭式与开放式问题时存在性能差异，无法有效结合精确推理与自然语言生成的需求。

核心思路：提出Reason-or-Recite（RoR）框架，通过两个专家模型分别进行思维链注释的结构化处理和答案生成，旨在提升模型在交通异常推理中的表现。

技术框架：RoR框架包括三个主要模块：首先，重写官方思维链注释为结构化的时间基础模式；其次，对9B视觉语言模型进行LoRA微调；最后，使用无训练的LLM评判器在两个候选答案中进行选择。

关键创新：RoR的创新在于结合了两个不同的专家模型，分别优化推理和答案生成，解决了现有方法在处理不同类型问题时的局限性。

关键设计：在设计中，使用了LoRA微调技术以提高模型的适应性，同时对27B模型进行了4位量化，以优化计算效率和存储需求。

📊 实验亮点

RoR框架在2026年AI城市挑战赛中表现卓越，获得领域内排行榜第一，平均得分为0.6788，显著优于其他基线模型，展示了其在交通异常推理任务中的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能交通监控、自动驾驶系统和城市安全管理。通过提升交通异常事件的理解与推理能力，RoR框架能够为交通管理提供更为精准的决策支持，进而提高城市交通的安全性和效率。

📄 摘要（原文）

Road anomalies such as collisions, violations, and sudden hazards demand more from video understanding than detection: a practical system must verify what happened, describe the scene, and explain the cause. We find these competences pull in opposite directions for vision-language models: closed-form questions reward precise, evidence-grounded reasoning, while open-ended answers are scored by similarity to reference text, where matching the annotation style matters as much as reasoning correctly. We present Reason-or-Recite (RoR), a two-specialist framework for the Traffic Anomaly Reasoning track of the 2026 AI City Challenge. RoR (1) rewrites the official chain-of-thought annotations into a structured, temporally grounded schema and LoRA-tunes a 9B vision-language model on the enhanced traces; (2) fine-tunes a 4-bit-quantized 27B model on answers alone, absorbing the annotation style; and (3) selects between the two candidates per question with a training-free LLM judge. RoR ranks first on the in-domain leaderboard with mean score 0.6788.