GS-VLA: Plug-and-Play Viewpoint Canonicalization for Frozen VLA Policies via Gaussian Splatting

📄 arXiv: 2608.19066v1 📥 PDF

作者: Yechan Park, HyunJin Kim

分类: cs.CV, cs.AI

发布日期: 2026-08-19

💡 一句话要点

提出GS-VLA以解决视觉-语言-动作政策中的视角偏移问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 3D高斯合成 视角归一化 政策鲁棒性 机器人导航 智能监控 人机交互

📋 核心要点

  1. 现有的视觉-语言-动作（VLA）政策在训练和部署时相机配置相同的假设下表现良好，但在视角偏移时性能显著下降。
  2. 本文提出了一种新的框架GS-VLA，通过3D高斯合成技术实现视角归一化，避免了政策的重新训练。
  3. 实验结果表明，GS-VLA在三方面均提升了性能，包括政策架构、未见任务和扰动规模，恢复了因视角偏移而损失的性能。

📝 摘要（中文）

本文提出了一种轻量级的即插即用框架，旨在提高视觉-语言-动作（VLA）政策对视角变化的鲁棒性，而无需重新训练政策。我们首次直接利用基于3D高斯的全新视角合成技术进行观察空间适应。现有VLA性能依赖于训练和部署相机配置相同的隐含假设。实验表明，即使是相机支架的小位移，也会在LIBERO基准测试中将成功率从约90%降至约10%。以往的方法如大规模微调或生成数据增强计算成本高且存在灾难性遗忘的风险。为此，本文将视角变化重新定义为局部新视角合成问题，在局部性假设下，视角归一化简化为与场景和政策无关的去遮挡任务。我们的工作通过在冻结的VLA政策前添加一个4M参数的3D高斯标准化器来实现这一点，显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）政策在视角偏移情况下的性能下降问题。现有方法依赖于相机配置一致的假设，导致在实际应用中表现不佳。

核心思路：论文提出将视角偏移重新定义为局部新视角合成问题，通过引入3D高斯标准化器来实现视角归一化，避免了对政策的重新训练。

技术框架：GS-VLA框架包括一个4M参数的3D高斯标准化器，该模块在冻结的VLA政策前进行插入，处理输入的视觉信息以适应不同的视角。

关键创新：最重要的创新在于首次将3D高斯合成技术应用于VLA政策的观察空间适应，显著提高了政策在视角变化下的鲁棒性。

关键设计：关键设计包括高斯标准化器的参数设置和网络结构，确保其在不修改政策权重的情况下有效提升性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，GS-VLA在LIBERO基准测试中成功率从约90%提升至约80%，在不同政策架构和任务上均表现出显著的性能恢复，证明了该方法的有效性和广泛适用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人导航、智能监控和人机交互等领域。通过提高VLA政策在不同视角下的适应能力，可以显著提升这些系统的实用性和可靠性，推动智能系统在复杂环境中的应用。

📄 摘要（原文）

This paper proposes a lightweight, plug-and-play framework that improves robustness to viewpoint shifts in Vision-Language-Action (VLA) policies without policy retraining. To our knowledge, this is the first approach to directly leverage 3D Gaussian-based novel-view synthesis for observation-space adaptation in VLA policies. Current VLA performance relies on the implicit assumption that training and deployment camera configurations are identical. Our experiments show that even a small displacement of the camera mount can reduce the success rate on the LIBERO benchmark from about 90% to about 10% in the worst case. Prior approaches, such as large-scale fine-tuning or generative data augmentation, are computationally expensive and risk catastrophic forgetting. To address this, viewpoint shifts are reformulated as a localized novel-view synthesis problem. Under a Locality assumption, that camera perturbations remain within a small bounded region relative to the workspace, viewpoint normalization reduces to a scene- and policy-independent disocclusion task. Our work implements this idea with a 4M-parameter 3D-Gaussian canonicalizer prepended to a frozen VLA policy. Without modifying policy weights, GS-VLA improves performance across three orthogonal axes: (1) Policy architectures, (2) Unseen task suites, and (3) Perturbation scales. These results show that a lightweight visual module can recover a large fraction of the performance lost under viewpoint shift, without policy retraining.