iStructTab: Structured Feature Sequencing for Multimodal Learning of Image and Tabular Data

📄 arXiv: 2608.04348v1 📥 PDF

作者: Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

分类: cs.CV, cs.AI, cs.LG, stat.ML

发布日期: 2026-08-05

备注: This paper has been accepted for presentation at the 28th International Conference on Pattern Recognition (ICPR 2026) in Lyon, France Code: https://github.com/zadid6pretam/iStructTab PyPI: pip install istructtab

期刊: International Conference on Pattern Recognition (ICPR 2026)

DOI: 10.1007/978-3-032-31404-8_43

💡 一句话要点

提出GEDS以解决多模态学习中的特征表示问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 特征序列化 图增强算法 顺序感知变换器 相似性图计算

📋 核心要点

  1. 现有的多模态学习方法在图像和表格数据的特征表示上存在冗余和分散的问题，影响了模型的泛化能力。
  2. 本文提出的GEDS算法通过相似性图计算优化特征描述符，系统性地确定特征序列，从而提升多模态学习的效果。
  3. 实验结果显示，iStructTab在多个多模态基准测试中显著降低了特征分散，提升了预测性能和鲁棒性。

📝 摘要（中文）

多模态学习中的图像与表格数据常因特征表示不当而导致冗余、分散及泛化问题。为此，本文提出了图增强描述符序列化算法（GEDS），该算法基于列置换问题（CPP）的原理，通过相似性图计算对特征的统计描述符进行优化，从而系统性地确定有效的特征序列。GEDS被整合进一种顺序感知的高效变换器框架中，利用顺序感知的记忆令牌，明确遵循所衍生的特征序列，并通过专门的损失函数进行优化。实验结果表明，iStructTab有效减少了特征分散，提高了预测性能和鲁棒性，突显了结构化特征序列在多模态学习中的重要性。

🔬 方法详解

问题定义：本文旨在解决多模态学习中图像与表格数据特征表示不当所导致的冗余、分散及泛化问题。现有方法在特征选择和序列化上存在不足，影响了模型的整体性能。

核心思路：论文提出的GEDS算法通过构建相似性图来优化特征描述符，系统性地确定有效的特征序列。这种设计旨在减少特征间的冗余，提高特征的有效性和模型的泛化能力。

技术框架：整体架构包括GEDS算法和顺序感知的高效变换器框架。GEDS负责特征的序列化，而变换器框架则利用顺序感知的记忆令牌来处理这些特征序列，并通过专门的损失函数进行优化。

关键创新：GEDS算法是本文的核心创新点，通过引入相似性图计算，系统性地优化特征序列，显著提升了多模态学习的效果。这与现有方法的随机特征选择方式形成了鲜明对比。

关键设计：在设计中，特征序列的生成依赖于相似性图的构建，损失函数则专门设计以确保模型遵循优化后的特征序列。此外，顺序感知的记忆令牌在变换器框架中起到了关键作用，确保了特征序列的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，iStructTab在多个多模态基准测试中显著降低了特征分散，预测性能提升幅度达到XX%（具体数据待补充），相较于基线方法表现出更强的鲁棒性和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、金融数据预测及智能制造等多个领域。通过优化多模态数据的特征表示，iStructTab能够提高模型的预测精度和鲁棒性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal learning of images and tabular data is often impaired by ineffective representations, resulting in redundancy, dispersion, and generalization problems. To tackle this challenge, we introduce Graph-Enhanced Descriptor Sequencing (GEDS), a structured feature sequencing algorithm grounded in principles from the Column Permutation Problem (CPP). GEDS refines statistical descriptors of the features through similarity graph-based computations, systematically determining an effective feature sequencing. We incorporate GEDS within an order-aware efficient transformer framework, utilizing order-aware memory tokens that explicitly adhere to the derived feature sequencing via a dedicated loss function. Experimental results across multimodal benchmarks demonstrate that iStructTab effectively minimizes feature dispersion, improving predictive performance and robustness, and highlighting the significance of structured feature sequencing in multimodal learning.