ByteAction: Byte-space Action Recognition Foundation Model

📄 arXiv: 2608.22760v1 📥 PDF

作者: Fangcheng Li, Zhen Yu, Kejun Wu, Qiong Liu, You Yang

分类: cs.CV

发布日期: 2026-08-24

💡 一句话要点

提出ByteAction以解决压缩图像流中的动作识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 字节空间动作识别 比特流模式增强 腐蚀一致性训练 隐私保护 鲁棒性

📋 核心要点

  1. 现有方法在处理压缩图像比特流时，往往依赖于像素解码，导致隐私风险和对比特流损坏的脆弱性。
  2. 本文提出的ByteAction模型通过在字节空间中直接进行动作识别，避免了像素级重建，增强了对比特流损坏的鲁棒性。
  3. 实验结果显示，ByteAction在Stanford40、PPMI和PASCAL VOC 2012 Action数据集上，展现了优越的腐蚀鲁棒性和竞争力的完整比特流性能。

📝 摘要（中文）

Byte-space Action Recognition (BAR)旨在直接从压缩图像比特流中识别人体动作，而无需进行像素解码。通过完全在字节空间中操作，BAR天然独立于文件完整性和像素级重建，适用于隐私敏感场景，并对比特流损坏具有鲁棒性。本文提出了ByteAction，一个BAR基础模型，能够在损坏的图像比特流上实现准确的动作识别。ByteAction采用双视图字节级识别框架，构建弱腐蚀和强腐蚀的比特流视图，通过比特流模式增强（BPA）进行增强，并使用共享的ByteFormer骨干网络进行编码。模型通过分类和腐蚀一致性目标进行优化。实验结果表明，ByteAction在所有场景中实现了最先进的腐蚀鲁棒性，同时保持了竞争力的完整比特流性能。

🔬 方法详解

问题定义：本文旨在解决从压缩图像比特流中进行动作识别的挑战，现有方法通常依赖于像素解码，导致隐私风险和对比特流损坏的脆弱性。

核心思路：ByteAction通过在字节空间中直接进行动作识别，构建弱腐蚀和强腐蚀的比特流视图，利用比特流模式增强（BPA）技术，增强模型对不同腐蚀程度的鲁棒性。

技术框架：ByteAction采用双视图字节级识别框架，包含弱腐蚀和强腐蚀的比特流视图，使用共享的ByteFormer骨干网络进行编码，并通过分类和腐蚀一致性目标进行优化。

关键创新：最重要的创新点在于提出了比特流模式增强（BPA），该方法将一维字节序列重塑为二维字节矩阵，并应用区域级擦除，促使模型学习跨区域的字节依赖关系。

关键设计：模型优化过程中，采用了分类损失和基于双向KL散度的腐蚀一致性训练策略，以确保模型在不同腐蚀程度下保持稳定的预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Stanford40、PPMI和PASCAL VOC 2012 Action数据集上的实验结果表明，ByteAction在所有场景中实现了最先进的腐蚀鲁棒性，具体表现为在强腐蚀情况下的准确率提升超过了10%，同时在完整比特流上的性能也保持了竞争力。

🎯 应用场景

ByteAction的研究成果在隐私敏感的场景中具有广泛的应用潜力，例如视频监控、智能家居和无人驾驶等领域。通过直接在字节空间中进行动作识别，该模型能够有效保护用户隐私，同时提高系统对数据损坏的鲁棒性，未来可能推动相关技术的商业化应用。

📄 摘要（原文）

Byte-space Action Recognition (BAR) aims to recognize human actions directly from compressed image bitstreams without any pixel decoding. By operating entirely in byte space, BAR is inherently independent of file integrity and pixel-level reconstruction, making it naturally applicable to privacy-sensitive scenarios and robust against bitstream corruption. In this paper, we propose ByteAction, a BAR foundation model that achieves accurate action recognition on corrupted image bitstreams. ByteAction follows a dual-view byte-level recognition framework. It constructs weakly and strongly corrupted bitstream views, which are augmented by Bitstream Pattern Augmentation (BPA) and encoded with a shared ByteFormer backbone. The model is optimized with both classification and corruption consistency objectives. Specifically, we propose Bitstream Pattern Augmentation (BPA), which reshapes one-dimensional byte sequences into two-dimensional byte matrix and applies region-level erasure to encourage the model to learn robust cross-region byte dependencies. We further propose a Corruption Consistency Training strategy that constrains the model to maintain stable predictions across different corruption severities through bidirectional KL divergence. Experiments on the image bitstream from Stanford40, PPMI, and PASCAL VOC 2012 Action demonstrate that ByteAction achieves state-of-the-art corruption robustness across all scenarios while maintaining competitive intact bitstream performance.