SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation
作者: Bowen Jing, Mingxin Wang, Ruiyang Hao, Chenchen Ge, Hanwen Shen, Junjie He, Yang Cui, Yiming Hou, Weitao Zhou, Jiawei Wang, Minglei Li, Dandan Zhang, Ding Zhao, Houde Liu, Xiaofan Li, Si Liu, Ping Luo, Haibao Yu
分类: cs.RO
发布日期: 2026-08-19
💡 一句话要点
提出SoftVTBench以解决可变形物体操控中的物理交互质量评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可变形物体操控 物理交互质量 视觉-触觉数据集 变形感知成功率 多模态融合 机器人抓取 智能制造
📋 核心要点
- 现有的可变形物体操控基准主要关注任务成功率，缺乏对物理交互质量的评估，导致操控策略可能存在滑动或过度压缩等问题。
- 本文提出SoftVTBench数据集，结合视觉和触觉信息，提供了4000个专家演示和多种资产，支持对物理交互的深入研究。
- 实验结果显示，在分布转移下，使用视觉-触觉变体的策略在任务成功率和变形感知成功率（DSR）上均有显著提升，验证了数据集的有效性。
📝 摘要（中文）
物理交互质量在可变形物体操控中至关重要，但现有基准主要评估任务成功率，忽视了滑动或过度压缩等问题。为此，本文提出了SoftVTBench，一个关注物理交互的可变形物体操控的视觉-触觉数据集。该数据集包含4000个专家演示和50多个资产，提供多视角RGB、双指触觉RGB、运动标记、语言信息等同步数据。基于此数据集，建立了闭环基准，定义了变形感知成功率（DSR），以评估操控的物理交互质量。实验结果表明，触觉信息的引入并不自动保证多模态融合的有效性。
🔬 方法详解
问题定义：本文旨在解决可变形物体操控中物理交互质量评估不足的问题。现有方法仅关注任务成功率，忽视了操控过程中的滑动和过度压缩等现象，导致评估不全面。
核心思路：论文提出SoftVTBench数据集，结合视觉和触觉信息，提供全面的物理交互数据，以便更好地评估操控策略的效果。通过引入变形感知成功率（DSR），确保操控不仅完成任务，还保持物体变形在可接受范围内。
技术框架：SoftVTBench数据集包含4000个专家演示，涵盖多视角RGB、双指触觉RGB、运动标记、语言信息等多种数据类型。基于该数据集，建立了闭环基准，使用固定的物体特定校准来定义DSR。
关键创新：最重要的创新在于引入了变形感知成功率（DSR），这一指标不仅关注任务是否成功，还考虑了操控过程中的物理交互质量，与现有方法的单一成功率评估形成鲜明对比。
关键设计：数据集中采用20Hz的同步采样率，确保多种数据类型的实时性和准确性。此外，设计了针对不同策略的评估框架，确保在不同配置下的有效性和一致性。实验中，触觉信息的引入对多模态融合的效果进行了深入分析。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在12种配置中，所有策略的成功回合中有0.7%至24%违反了变形容忍度。在分布转移的情况下，视觉-触觉变体在所有六个策略比较中均实现了更高的任务成功率，并在五个比较中提高了DSR，验证了数据集的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、智能制造和人机交互等。通过提供一个全面的可变形物体操控评估平台，SoftVTBench能够帮助研究者和工程师更好地理解和优化物理交互过程，从而提升机器人在复杂环境中的操作能力和灵活性。
📄 摘要（原文）
Physical interaction quality is central to deformable-object manipulation, yet most benchmarks evaluate task success alone. A policy may complete the task while allowing slip or causing excessive compression. A primary bottleneck is the absence of visuo-tactile datasets that pair policy-visible contact observations with independent physical ground truth over complete tasks. We introduce SoftVTBench, a visuo-tactile dataset for physical-interaction-aware deformable-object manipulation. It contains 4,000 expert demonstrations and more than 50 assets, including volumetric deformable objects and visually matched rigid twins. At 20 Hz, each episode synchronizes multi-view RGB, dual-finger tactile RGB and marker motion, proprioception, language, and binary and continuous gripper actions, alongside evaluator-only finite-element (FEM) states. Building upon this dataset, we establish a closed-loop benchmark that uses fixed object-specific calibration to define the Deformation-aware Success Rate (DSR), which counts a rollout as successful only when it completes the task and keeps peak normalized deformation within tolerance. Across Diffusion Policy, $π_{0.5}$, and FastWAM, all 12 in-distribution configurations contain successful rollouts that violate the deformation tolerance, accounting for 0.7--24% of each configuration's successes. Under distribution shift, visuo-tactile variants achieve higher task success in all six policy--suite comparisons and higher DSR in five, whereas their in-distribution benefits are mixed. These results show that making touch available does not by itself ensure effective multimodal fusion. SoftVTBench therefore provides a common visuo-tactile resource for studying not only whether a policy succeeds, but how it physically interacts with deformable objects and when touch improves that interaction.