ARASH: Adaptive Retrieval And Shot Selection for Tabular Prediction

📄 arXiv: 2608.17856v1 📥 PDF

作者: Samirasadat Jamalidinan, Yue Xu, Kazem Cheshmi

分类: cs.AI

发布日期: 2026-08-18

💡 一句话要点

提出ARASH以解决表格预测中的检索与选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格预测 示例选择 自适应检索 上下文学习 计算效率 机器学习 数据分析

📋 核心要点

  1. 现有方法在表格预测中面临高计算资源需求和频繁重训练的挑战，限制了其应用。
  2. ARASH通过局部邻域分析选择最优示例，提供了一种高效的示例选择策略，减少了资源消耗。
  3. 实验结果显示，ARASH显著降低了TabPFN的提示长度和内存使用，同时保持了准确性。

📝 摘要（中文）

表格预测是众多应用中的关键任务。近期大型语言模型的成功激发了多种将其适应于表格领域的方法。常见策略是训练或微调专门的表格基础模型（TFMs），如TabPFN。然而，TFMs需要大量计算资源，频繁的模型重训练往往不切实际。上下文学习（ICL），特别是少量示例提示，提供了一种资源高效的替代方案以提升性能。然而，识别最相关的行作为示例仍然是表格数据中的一大挑战。本文提出了ARASH（自适应查询特定检索与示例选择）方法，通过在训练集中基于局部邻域分析选择最佳示例，从而提高TFM的效率。我们的结果表明，ARASH将TabPFN的提示长度和内存使用分别减少了1261.5倍和2.56倍，同时保持了相当的准确性。

🔬 方法详解

问题定义：本文旨在解决表格预测中示例选择的效率问题。现有的表格基础模型（TFMs）如TabPFN需要大量计算资源，频繁的重训练不切实际，且在示例选择上存在困难。

核心思路：ARASH方法通过分析训练集中的局部邻域，选择与查询相关的最佳示例，从而提高TFM的效率，减少资源消耗。

技术框架：ARASH的整体架构包括数据检索模块和示例选择模块。首先，通过查询分析获取相关数据行，然后基于局部邻域特征进行示例选择。

关键创新：ARASH的主要创新在于其自适应的查询特定检索机制，能够根据具体查询动态选择示例，与传统的静态示例选择方法形成鲜明对比。

关键设计：在设计上，ARASH采用了高效的邻域分析算法，确保示例选择的准确性和效率，同时在参数设置上进行了优化，以适应不同的表格数据特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ARASH将TabPFN的提示长度减少了1261.5倍，内存使用减少了2.56倍，同时保持了与传统方法相当的准确性。这一显著提升展示了ARASH在资源效率上的优势。

🎯 应用场景

该研究在多个领域具有广泛的应用潜力，包括金融数据分析、医疗记录处理和市场研究等。通过提高表格预测的效率，ARASH能够帮助企业和研究机构更快速地获取洞察，提升决策能力。未来，该方法可能会推动更多基于表格数据的智能应用的发展。

📄 摘要（原文）

Tabular prediction is a critical task across numerous applications. The recent success of large language models has sparked various approaches for adapting them to the tabular domain. A prevalent strategy involves training or fine-tuning specialized Tabular Foundation Models (TFMs) such as TabPFN. However, TFMs require substantial computational resources, and frequent model retraining is often impractical. In-context learning (ICL), specifically, few-shot prompting, offers a resource-efficient alternative to enhance performance. Yet, identifying the most relevant rows to serve as shots remains a challenge for tabular data. This paper introduces ARASH (Adaptive, query-specific Retrieval And Shot selection), a method that improves TFM efficiency by selecting optimal shots based on local neighborhood analysis within the training set. Our results demonstrate that ARASH reduces the prompt length and memory usage of TabPFN by 1261.5$\times$ and 2.56$\times$, respectively, while providing comparable accuracy.