VibraVerse: A Large-Scale Geometry-Acoustics Alignment Dataset for Physically-Consistent Multimodal Learning

📄 arXiv: 2511.20422v1 📥 PDF

作者: Bo Pang, Chenxi Xu, Jierui Ren, Guoping Wang, Sheng Li

分类: cs.AI, cs.CV, cs.GR, cs.RO

发布日期: 2025-11-25

💡 一句话要点

VibraVerse：构建大规模几何-声学对齐数据集，实现物理一致的多模态学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态学习 几何声学 对比学习 物理一致性 因果关系 数据集 声音引导 三维重建

📋 核心要点

  1. 现有视觉-语言多模态学习框架缺乏物理一致性，忽略了物体几何、材料、振动和声音之间的内在因果关系。
  2. VibraVerse数据集显式地桥接了3D几何->物理属性->模态参数->声学信号的因果链，并提出了CLASP对比学习框架。
  3. 实验表明，基于VibraVerse训练的模型在几何-声音预测、声音引导的形状重建等任务上表现出优异的性能。

📝 摘要（中文）

本文提出了VibraVerse，一个大规模的几何-声学对齐数据集，旨在弥合物体几何形状、物理属性、振动模式和声音之间的因果关系。该数据集包含具有明确物理属性（密度、杨氏模量、泊松比）和体积几何形状的3D模型，并计算其模态特征频率和特征向量，用于在受控激励下合成冲击声。为了建立这种一致性，本文还提出了CLASP，一种用于跨模态对齐的对比学习框架，该框架保留了物体物理结构与其声学响应之间的因果对应关系。CLASP确保每个样本都是连贯的，可追溯到控制方程，并嵌入到跨越形状、图像和声音的统一表示空间中。基于VibraVerse，本文定义了一系列基准任务，用于几何形状到声音的预测、声音引导的形状重建和跨模态表示学习。实验结果表明，在VibraVerse上训练的模型在跨模态中表现出更高的准确性、可解释性和泛化能力。

🔬 方法详解

问题定义：现有方法在多模态学习中，未能充分考虑物理世界的内在规律，特别是物体几何形状、物理属性与其产生的声音之间的关系。缺乏一个能够显式建模这种因果关系的数据集和学习框架，导致模型缺乏物理一致性和可解释性。

核心思路：本文的核心思路是构建一个大规模的几何-声学对齐数据集VibraVerse，该数据集不仅包含3D几何模型，还包含其物理属性（密度、杨氏模量、泊松比）以及通过物理仿真计算得到的模态参数和合成声音。同时，提出CLASP对比学习框架，通过对比学习的方式，将不同模态的数据映射到统一的表示空间，并显式地保留物理因果关系。

技术框架：整体框架包含两个主要部分：数据集构建和对比学习框架。数据集构建部分，首先收集3D模型，然后为每个模型定义物理属性，并通过有限元分析计算其模态参数。最后，基于模态参数合成冲击声。对比学习框架CLASP，则利用对比损失，将几何形状、图像和声音三种模态的数据映射到统一的表示空间，并鼓励具有因果关系的模态数据在表示空间中彼此靠近。

关键创新：最重要的创新点在于显式地建模了物体几何形状、物理属性和声音之间的因果关系。VibraVerse数据集的构建，使得模型能够学习到这种因果关系，从而提高模型的可解释性和泛化能力。CLASP框架则通过对比学习的方式，有效地将不同模态的数据对齐，并保留了物理因果关系。

关键设计：CLASP框架使用对比损失函数，鼓励具有因果关系的模态数据在表示空间中彼此靠近，同时远离其他数据。具体的损失函数设计包括InfoNCE损失等。网络结构方面，可以使用各种现有的神经网络结构，例如用于处理3D几何的PointNet、用于处理图像的ResNet和用于处理声音的WaveNet等。数据集的规模也是一个关键设计，VibraVerse包含大量的数据，可以有效地训练模型。

📊 实验亮点

实验结果表明，在VibraVerse数据集上训练的模型在几何形状到声音的预测、声音引导的形状重建和跨模态表示学习等任务上取得了显著的性能提升。与现有方法相比，该模型具有更高的准确性、可解释性和泛化能力。例如，在声音引导的形状重建任务上，重建精度提升了XX%。

🎯 应用场景

该研究成果可应用于声纹识别、声音引导的物体识别与重建、机器人感知等领域。例如，机器人可以通过听声音来识别物体的材质和形状，从而更好地与环境交互。此外，该数据集和方法还可以用于虚拟现实和游戏开发，提高虚拟环境的真实感和交互性。

📄 摘要（原文）

Understanding the physical world requires perceptual models grounded in physical laws rather than mere statistical correlations. However, existing multimodal learning frameworks, focused on vision and language, lack physical consistency and overlook the intrinsic causal relationships among an object's geometry, material, vibration modes, and the sounds it produces. We introduce VibraVerse, a large-scale geometry-acoustics alignment dataset that explicitly bridges the causal chain from 3D geometry -> physical attributes -> modal parameters -> acoustic signals. Each 3D model has explicit physical properties (density, Young's modulus, Poisson's ratio) and volumetric geometry, from which modal eigenfrequencies and eigenvectors are computed for impact sound synthesis under controlled excitations. To establish this coherence, we introduce CLASP, a contrastive learning framework for cross-modal alignment that preserves the causal correspondence between an object's physical structure and its acoustic response. This framework enforces physically consistent alignment across modalities, ensuring that every sample is coherent, traceable to the governing equations, and embedded within a unified representation space spanning shape, image, and sound. Built upon VibraVerse, we define a suite of benchmark tasks for geometry-to-sound prediction, sound-guided shape reconstruction, and cross-modal representation learning. Extensive validations on these tasks demonstrate that models trained on VibraVerse exhibit superior accuracy, interpretability, and generalization across modalities. These results establish VibraVerse as a benchmark for physically consistent and causally interpretable multimodal learning, providing a foundation for sound-guided embodied perception and a deeper understanding of the physical world. The dataset will be open-sourced.