Falcon Perception-HD: High Density Perception via Reinforcement Learning

📄 arXiv: 2608.18881v1 📥 PDF

作者: Sofian Chaybouti, Yasser Dahou, Ngoc Dung Huynh, Reda Alami, Hilde Kuehne

分类: cs.CV

发布日期: 2026-08-19

备注: 27 pages, 11 figures

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出Falcon Perception-HD以解决高密度场景下的感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高密度感知 强化学习 自回归模型 奖励设计 多头采样 视觉实体定位 开放词汇 引用表达分割

📋 核心要点

  1. 现有的自回归感知模型在高密度场景下表现不佳，尤其是在处理超过500个对象时，精度和召回率显著下降。
  2. 本文提出了一种基于后训练强化学习的框架，通过奖励设计和多头采样控制，直接对齐感知模型与评估指标。
  3. 实验结果表明，使用RL训练的模型在PBench和SACO-Gold数据集上，在所有难度层次的引用表达分割任务中均有显著提升。

📝 摘要（中文）

自回归感知模型在开放词汇设置下主要通过监督微调（SFT）进行训练，但其优化的代理目标（每个token的交叉熵）与感知指标（如精度和召回率）存在根本不一致。本文探索了后训练强化学习（RL），特别是GRPO，以直接将这些模型与评估指标对齐。基于最近提出的Falcon Perception，我们设计了一个RL框架，解决了感知特定挑战：针对集合结构输出的奖励设计和多头采样控制。我们发现RL在感知中的多重优势：首先，RL在非常密集的场景中解锁了最先进的性能（每个场景最多500个对象），而现有系统在此情况下表现急剧下降；此外，它修复了自回归感知模型中的常见问题，如掩码重复，几乎完全消除了对NMS和坐标去重的需求，从而提高了性能和效率，消除了超参数调优的需求。

🔬 方法详解

问题定义：本文旨在解决自回归感知模型在高密度场景下的性能下降问题，现有方法在处理复杂场景时存在精度和召回率不一致的痛点。

核心思路：通过后训练强化学习（RL）来优化感知模型，使其与实际评估指标（如精度和召回率）直接对齐，避免了传统方法的代理目标不一致问题。

技术框架：整体架构包括奖励设计模块和多头采样控制模块，针对集合结构输出进行优化。模型首先通过自回归方式进行初步训练，然后应用RL进行后续优化。

关键创新：最重要的创新在于使用简单的奖励机制来惩罚假阴性和假阳性，从而有效提升模型在高密度场景中的表现，且无需负样本训练。

关键设计：在奖励设计中，采用了针对集合输出的特定奖励函数，避免了常见的掩码重复问题，并消除了对NMS和坐标去重的需求，简化了超参数调优过程。通过两种混合自标注管道，分别针对困难引用表达和高密度场景进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用强化学习训练的模型在处理高达500个对象的场景时，性能显著提升，解决了自回归感知模型中的掩码重复问题，并消除了对NMS的需求。整体性能在PBench和SACO-Gold数据集上均有显著改善，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和智能监控等高密度物体识别场景。通过提升感知模型在复杂环境中的表现，能够显著提高系统的智能化水平和决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autoregressive perception models trained to localize visual entities under the open-vocabulary setting are mostly trained using Supervised fine-tuning (SFT) with maximum likelihood, yet it optimizes a proxy objective (per-token cross-entropy) that is fundamentally misaligned with perception metrics such as precision and recall. In this paper, we explore post-training reinforcement learning (RL), specifically GRPO, to directly align these models with their evaluation metrics. Building up on the recently introduced Falcon Perception, we design an RL framework that addresses perception-specific challenges: reward design for set-structured outputs and multi-head sampling control. We discover multiple benefits from RL for perception: first, RL unlocks state-of-the-art performance in very dense scenes (up to 500 objects per scene), a regime where most existing systems degrade sharply or collapse; furthermore it fixes common issues in autoregressive perception models like mask repetitions and removes almost entirely the need for NMS and coordinate deduplication, which improve both performance and efficiency and remove the need for hyperparameters tuning; overall, we notice improvements on all levels of difficulties in referring expression segmentation (on PBench and SACO-Gold), and we find an elegant way to preserve the knowledge of whether an object exists or not (as evaluated by MCC) without training on negative samples. We show that a simple reward that penalizes false negatives and positives is sufficient. We develop two hybrid self-annotation pipelines, respectively tailored for difficult referring expressions and very dense scenes, and show their benefits on RL-training. Model weights are released as a Falcon Perception revision~\footnote{https://huggingface.co/tiiuae/Falcon-Perception}. Datasets will be published.