Learned Image Compression for Vision-Language-Action Models
作者: Hyeonjun Kim, Jegwang Ryu, Sangbeom Ha, Junhyeok Lee, Jun-Hyuk Kim, Hyemin Ahn, Jaeho Lee
分类: cs.CV, cs.AI
发布日期: 2026-06-15
💡 一句话要点
提出SPARC以解决视觉-语言-动作模型中的图像压缩瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像压缩 视觉-语言-动作 机器人控制 自适应比特率 学习型编码
📋 核心要点
- 现有的图像和视频编解码器未能针对VLA模型的控制性能进行优化，导致在带宽受限的环境中表现不佳。
- SPARC通过自适应比特率分配和时间上下文利用，优化了图像压缩过程，以提高VLA驱动机器人的控制效率。
- 在多种机器人基准测试中，SPARC在相同比特率下的控制性能显著优于传统和近期的压缩方法，展示了其有效性。
📝 摘要（中文）
视觉-语言-动作（VLA）模型越来越依赖高频多摄像头观察，这使得视觉通信成为带宽受限或分布式部署环境中实时机器人控制的主要瓶颈。现有的图像和视频编解码器旨在保持通用视觉保真度，而非下游VLA策略的控制性能。本文提出了SPARC（空间自适应速率控制），这是一个针对VLA驱动机器人量身定制的学习型图像压缩框架。SPARC通过轻量级的时间掩码选择器，根据任务相关性自适应地分配比特率，同时利用时间上下文。实验表明，SPARC在相同比特率预算下，控制性能优于传统图像/视频编解码器和近期的学习压缩方法。
🔬 方法详解
问题定义：本文旨在解决现有图像和视频编解码器在视觉-语言-动作（VLA）模型中的应用不足，尤其是在带宽受限的环境中，导致控制性能下降的问题。现有方法主要关注通用视觉保真度，而忽视了任务相关的视觉信息的重要性。
核心思路：SPARC的核心思路是根据视觉信息在不同摄像头视角和图像空间区域的重要性，动态调整比特率分配。通过引入轻量级的时间掩码选择器，SPARC能够根据任务需求优化图像压缩，从而提升控制性能。
技术框架：SPARC的整体架构包括输入图像的特征提取、时间掩码选择、比特率分配和图像重构等主要模块。特征提取模块负责从图像中提取潜在表示，时间掩码选择器根据任务相关性动态调整比特率，最终重构模块生成压缩后的图像。
关键创新：SPARC的关键创新在于引入了倾斜速率损失函数，旨在稳定训练过程，减少基于熵的目标函数对稀有但关键视觉模式的过度抑制。这一设计与现有方法相比，能够更好地保留任务相关的视觉信息。
关键设计：在参数设置上，SPARC采用了轻量级的网络结构，以降低计算复杂度。损失函数设计中，倾斜速率损失的引入使得训练过程更加稳定，确保了重要视觉信息的保留。
🖼️ 关键图片
📊 实验亮点
在多种机器人基准测试中，SPARC在相同比特率预算下的控制性能显著优于传统图像/视频编解码器，提升幅度达到XX%（具体数据未知），并在远程控制场景中显著改善了比特率与成功率的权衡。
🎯 应用场景
SPARC的研究成果在机器人控制、自动驾驶、远程监控等领域具有广泛的应用潜力。通过优化图像压缩，SPARC能够在带宽受限的环境中提升视觉信息传输效率，从而改善机器人在复杂任务中的表现，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) models increasingly rely on high-frequency multi-camera observations, making visual communication a major bottleneck for real-time robotic control in bandwidth-constrained or distributed deployment settings. Existing image and video codecs, however, are designed to preserve generic visual fidelity rather than the control performance of downstream VLA policies. In this work, we introduce SPARC (SPatially Adaptive Rate Control), a learned image compression framework tailored for VLA-driven robots. Our key observation is that the importance of visual information varies substantially across both camera views and spatial regions within an image. Based on this observation, SPARC employs a lightweight temporal mask selector that adaptively allocates bitrate over latent representations according to task relevance while leveraging temporal context. We further introduce a tilted rate loss that stabilizes training by reducing the tendency of entropy-based objectives to over-suppress rare yet task-critical visual patterns. Experiments on diverse robotic benchmarks, including RoboCasa365, VLABench, and LIBERO, show that SPARC consistently achieves stronger control performance than conventional image/video codecs and recent learned compression methods under the same bitrate budget. We additionally demonstrate real-world deployment benefits in remote-control settings, where our method substantially improves the bitrate-success tradeoff.