ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization
作者: Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen
分类: cs.CV
发布日期: 2026-06-23
备注: 16 pages, 4 figures, 8 tables
💡 一句话要点
提出ForensicsTok以解决图像篡改定位问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像篡改检测 多模态大型语言模型 自回归序列生成 法医取证 深度学习 图像处理 鲁棒性
📋 核心要点
- 现有方法依赖外部分割解码器，导致信息瓶颈和空间信号稀释，影响图像篡改的定位精度。
- ForensicsTok将图像篡改定位视为自回归序列生成任务，直接生成空间标记序列，避免中介监督。
- 在六个基准测试中，ForensicsTok显著提升了定位精度，且对扰动表现出更强的鲁棒性。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在法医任务中展现出强大的推理能力，但现有方法依赖外部分割解码器，导致定位效果不佳。为了解决这一问题，本文提出ForensicsTok，将图像篡改定位重构为自回归序列生成任务，直接生成空间定位的标记序列，从而实现精确的掩膜预测。我们引入了标记溅射解码器（TSD），通过代码本感知的代码平滑将标记映射到二进制掩膜，减轻了来自确定性去标记器的尖锐梯度。此外，提出的层次专家融合（HEF）模块能够注入来自法医专家模型的多尺度特征，弥补标准MLLMs中缺乏法医先验的不足。大量实验表明，ForensicsTok在六个基准测试中显著优于现有的MLLM基线，并在强法医专家基线中略有提升，同时对扰动表现出更强的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决图像篡改定位中的信息瓶颈问题，现有方法依赖外部分割解码器，导致定位效果不佳，且受到语义先验的限制。
核心思路：ForensicsTok通过将图像篡改定位重构为自回归序列生成任务，直接生成空间定位的标记序列，从而实现更精确的掩膜预测，避免了中介监督的影响。
技术框架：整体架构包括标记溅射解码器（TSD）和层次专家融合（HEF）模块。TSD负责将生成的标记映射到二进制掩膜，而HEF模块则注入来自法医专家模型的多尺度特征，以增强模型的表现。
关键创新：最重要的技术创新在于引入了标记溅射解码器（TSD），通过代码本感知的代码平滑技术，减轻了来自确定性去标记器的尖锐梯度影响。这一方法与现有依赖外部解码器的方式有本质区别。
关键设计：在设计中，TSD的参数设置和损失函数经过精心调整，以确保生成的标记序列能够有效映射到高质量的二进制掩膜。同时，HEF模块的多尺度特征融合策略也经过优化，以提升模型的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
在六个基准测试中，ForensicsTok显著提高了定位精度，相较于现有的MLLM基线提升幅度明显，并在强法医专家基线中也展现出略微的性能提升，尤其在对抗扰动方面表现出更强的鲁棒性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在数字取证、图像验证和安全监控等领域。通过提升图像篡改检测的准确性，ForensicsTok能够帮助法医专家更有效地识别和分析篡改行为，进而增强信息的可信度和安全性。未来，该技术有望在更复杂的图像处理任务中发挥重要作用。
📄 摘要（原文）
Multi-modal Large Language Models (MLLMs) offer powerful reasoning for forensic tasks, yet existing approaches utilizing exogenous segmentation decoders often suffer from suboptimal localization. The reliance on stitched pipelines introduces information bottlenecks during backpropagation, which dilutes spatial signals and is limited by semantic priors of the segmentor. To address these limitations, we propose ForensicsTok, which reformulates image manipulation localization as an autoregressive sequence generation task. ForensicsTok directly generates spatially grounded token sequences, enabling precise mask prediction without intermediary supervision. Specifically, we introduce a Token Splatting Decoder (TSD) to map tokens to binary masks via codebook-aware code smoothing, which mitigates sharp gradients from deterministic detokenizers. Furthermore, to capture diverse tampering clues, we propose a Hierarchical Expert Fusion (HEF) module that injects multi-scale features from a forensic expert model. This unified architecture effectively compensates for the lack of forensic priors in standard MLLMs. Extensive experiments on six benchmarks show that ForensicsTok substantially improves over existing MLLM-based baselines and slightly improves over strong forensic expert baselines, while exhibiting stronger robustness to perturbations.