Parallelism-Aligned Pruning and Round-Aware Context Reuse for On-Device Multimodal Agents

📄 arXiv: 2611.02601v1 📥 PDF

作者: Peipei Jiao, Mingkang Liu, Weiming Meng, Lichen Pang, Tianyuan Liu, Junyan Li

分类: cs.AI

发布日期: 2026-11-02

💡 一句话要点

提出PARC以解决边缘设备多模态代理的部署不匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 多模态代理 结构化剪枝 KV缓存管理 计算资源优化

📋 核心要点

  1. 现有的多模态代理在边缘设备上部署时，预训练的注意力结构无法均匀分配，导致计算资源利用不充分。
  2. 论文提出PARC，通过结构化剪枝和KV缓存重组，优化注意力维度和缓存管理，以提高模型在边缘设备上的性能。
  3. 在实验中，PARC在七核部署下，视觉编码器延迟降低11.4%，解码吞吐量提高23.8%，内存使用减少12.7%。

📝 摘要（中文）

边缘设备上的多模态代理面临两大部署不匹配问题：预训练的注意力结构无法均匀分配到计算核心，导致不规则分区；标准前缀缓存使得历史视觉标记在持久KV缓存中不断增长。为此，本文提出PARC，结合了与并行性对齐的结构化剪枝和生命周期感知的KV缓存重组。在模型层面，使用一阶泰勒重要性和分组查询注意力感知选择，使注意力维度可被目标核心数量整除，同时保持查询与键/值的比例和头维度。在运行时，按生命周期分离系统提示、持久文本历史和瞬态视觉观察，更新文本历史以便历史图像离开持久缓存，从而使更多交互轮次适应固定预算。实验结果表明，在2062个GUI操作中，增量接口没有准确性回归，任务感知恢复训练将动作类型准确率差距恢复至98.7%。

🔬 方法详解

问题定义：本文旨在解决边缘设备上多模态代理的部署不匹配问题，现有方法在计算核心分配和缓存管理上存在不足，导致性能下降和资源浪费。

核心思路：PARC结合了与并行性对齐的结构化剪枝和生命周期感知的KV缓存重组，通过优化注意力维度和缓存管理来提升模型性能。

技术框架：PARC的整体架构包括两个主要模块：一是模型层面的结构化剪枝，二是运行时的KV缓存重组。前者确保注意力维度可被核心数量整除，后者按生命周期管理缓存内容。

关键创新：PARC的创新在于将注意力维度的选择与计算核心对齐，同时通过生命周期管理优化缓存使用，显著提高了边缘设备的计算效率。

关键设计：在注意力维度选择中，采用一阶泰勒重要性和分组查询注意力感知选择，确保维度整除性；在KV缓存管理中，分离系统提示、持久文本历史和瞬态视觉观察，以适应固定的交互预算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PARC在七核部署下，视觉编码器延迟降低11.4%，解码吞吐量提高23.8%，内存使用减少12.7%。增量接口在2062个GUI操作中未出现准确性回归，任务感知恢复训练将动作类型准确率恢复至98.7%。

🎯 应用场景

该研究的潜在应用场景包括智能家居、移动设备和边缘计算环境中的多模态交互系统。通过优化模型在资源受限设备上的性能，PARC能够提升用户体验，推动智能代理的广泛应用。未来，该方法可能在更复杂的多模态任务中展现出更大的价值。

📄 摘要（原文）

On-device multimodal agents are limited by two deployment mismatches: pretrained attention structures may not divide evenly across the compute cores of an edge accelerator, causing irregular partitions; and standard prefix caching keeps historical visual tokens in the persistent KV cache, whose capacity grows with the number of rounds. We present PARC, which combines parallelism-aligned structured pruning with lifetime-aware KV-cache reorganization. At the model level, it uses first-order Taylor importance and grouped-query-attention-aware selection to make attention dimensions divisible by the target core count while preserving the query-to-key/value ratio and head dimension. At runtime, it separates the system prompt, persistent text history, and transient visual observations by lifetime, updating text history during tool execution so that historical images leave the persistent cache and more interaction rounds fit a fixed budget. On 2,062 GUI actions, the incremental interface shows no accuracy regression, and task-aware recovery training restores 98.7% of the action-type accuracy gap and the coordinate hit rate to the original level. Under seven-core deployment, hardware-aligned pruning reduces vision-encoder latency by 11.4%, improves decoding throughput by 23.8%, and lowers per-heap high-water memory by 12.7%; a parameter-matched control confirms that the speedup stems mainly from core alignment rather than parameter reduction.