RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation

📄 arXiv: 2606.22749v1 📥 PDF

作者: Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

分类: cs.CV

发布日期: 2026-06-22

备注: ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出RaysUp以解决低分辨率特征上采样问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 特征上采样 几何感知 视觉基础模型 深度学习 计算机视觉 高效推理 密集预测

📋 核心要点

  1. 现有特征上采样方法在语义保真度和效率上存在不足，限制了其在细粒度任务中的应用。
  2. RaysUp通过几何感知的光线域进行特征重建，采用多种创新模块实现高效的特征上采样。
  3. 实验结果显示，RaysUp在多个任务中表现优异，参数量仅为AnyUp的16%，推理速度提升约7倍。

📝 摘要（中文）

预训练的视觉基础模型（VFM）在现代计算机视觉中占据重要地位，但其输出的特征图分辨率较低，限制了在细粒度像素级推理任务中的有效性。现有的特征上采样方法往往会降低语义保真度，或依赖于特定VFM的重训练和复杂架构，影响了效率和可扩展性。为此，本文提出了RaysUp，一个超轻量、任务无关且VFM无关的特征上采样框架，能够在任意分辨率下重建高分辨率特征图。RaysUp通过几何感知的光线域提升特征重建，采用空间解耦引导编码器、任意分辨率交叉注意力机制和新颖的光线位置编码（RayPE），并引入几何感知邻域注意力模块，确保内容自适应双边聚合，同时保持几何一致性。实验表明，RaysUp在多个密集预测任务中实现了最先进的性能，仅使用AnyUp的16%参数，推理速度约为7倍提升。

🔬 方法详解

问题定义：本文旨在解决现有特征上采样方法在低分辨率输出和语义保真度之间的权衡问题。现有方法往往需要重训练或复杂架构，导致效率低下。

核心思路：RaysUp的核心思路是将特征重建提升到几何感知的光线域，通过引入空间解耦引导编码器和任意分辨率交叉注意力机制，实现高效且灵活的特征上采样。

技术框架：RaysUp的整体架构包括三个主要模块：空间解耦引导编码器用于方向感知引导，任意分辨率交叉注意力机制用于灵活重建，以及几何感知邻域注意力模块用于内容自适应聚合。

关键创新：最重要的创新点在于引入了光线位置编码（RayPE），通过6D Plucker光线坐标注入隐式3D几何先验，显著提升了特征重建的几何一致性。

关键设计：在设计中，RaysUp采用了轻量级的网络结构，优化了参数设置，确保在保持高性能的同时，显著降低了计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RaysUp在多个密集预测任务中达到了最先进的性能，使用的参数仅为AnyUp的16%，推理速度提升约7倍，显著改善了准确性与效率的平衡。

🎯 应用场景

RaysUp在计算机视觉的多个领域具有广泛的应用潜力，包括图像分割、目标检测和三维重建等任务。其高效的特征上采样能力能够为实时视觉系统提供支持，推动智能监控、自动驾驶等技术的发展。

📄 摘要（原文）

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.