TabRank: Chain-of-Thought Distillation for Table Re-Rankers
作者: Adarsh Singh, Kushal Raj Bhandari, Jianxi Gao, Soham Dan, Vivek Gupta
分类: cs.CL, cs.AI, cs.IR
发布日期: 2026-07-28
备注: 8 pages, 3 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出TabRank框架以提升表格重排序性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格检索 重排序 链式推理 蒸馏训练 多表推理 自然语言处理 深度学习
📋 核心要点
- 现有的表格检索方法在处理复杂查询时常常面临重排序效果不佳的问题，尤其是在多表场景下。
- 本文提出TabRank框架，通过训练推理重排序器，利用链式推理蒸馏技术提升表格重排序的质量。
- 实验结果显示，TabRank在多个数据集上显著提高了检索性能，如HybridQA提升30.5%，SQA提升15.2%。
📝 摘要（中文）
表格检索中，获取相关表格以回答问题是结构化信息检索的关键任务。多阶段检索系统依赖重排序器来优化候选列表。本文提出TabRank框架，利用6728个推理轨迹的数据集，探索显式链式推理蒸馏和基于教师推理轨迹的条件训练。实验结果表明，TabRank在多个表格检索数据集上显著提升性能，尤其在多表推理场景中表现优异。
🔬 方法详解
问题定义：本文旨在解决表格重排序中的推理能力不足问题，现有方法在复杂查询和多表场景下表现不佳，难以有效提取和利用表格信息。
核心思路：TabRank通过引入链式推理蒸馏技术，训练一个紧凑的推理模型，使其能够更好地理解和处理表格数据，从而提升重排序的效果。
技术框架：TabRank框架包括数据集构建、推理轨迹提取、模型训练和性能评估四个主要模块。首先构建包含6728个推理轨迹的数据集，然后进行显式链式推理蒸馏和基于教师推理轨迹的条件训练。
关键创新：TabRank的主要创新在于其链式推理蒸馏方法，使得重排序器能够在推理过程中更好地利用上下文信息，从而显著提升重排序的准确性。
关键设计：在模型训练中，采用了特定的损失函数来优化推理轨迹的匹配度，并设计了适合表格数据的网络结构，以增强模型的推理能力。
🖼️ 关键图片
📊 实验亮点
TabRank在多个表格检索数据集上取得了显著的性能提升，具体而言，在HybridQA上提升了30.5%，在SQA上提升了15.2%，在TabFact上提升了52.9%，在TATQA子集上提升了13.1%。这些结果表明TabRank在多表推理场景中的有效性和优越性。
🎯 应用场景
TabRank框架在结构化信息检索领域具有广泛的应用潜力，尤其适用于需要从多个表格中提取信息的复杂查询场景。其提升的重排序性能可为智能问答系统、数据分析工具等提供更为精准的支持，未来可扩展至更多领域。
📄 摘要（原文）
The ability to retrieve relevant tables for answering questions is a key task for structured information retrieval. Multi-stage retrieval systems rely heavily on rerankers to refine candidate lists produced by efficient first-stage retrievers. As a result, neural rerankers and LLM-based reranking methods have become increasingly important due to their superior capacity for semantic understanding and reasoning compared to conventional sparse or dense retrieval models. Recently, Large Reasoning Models (LRMs) equipped with explicit chain-of-thought (CoT) reasoning have shown strong improvements in ranking quality in unstructured passage retrieval. In this work, we present TabRank, a framework for training reasoning rerankers for Tabular Retrieval. We first present a comprehensive dataset of 6728 reasoning traces for tabular reranking on the Natural Questions Tables dataset. We then explore two variants of training a compact reasoning model on these reasoning traces: explicit CoT distillation and conditioning the student reranker on the teacher's reasoning trace within the prompt. We stress-test TabRank on several out-of-distribution generalization settings on diverse domains and multi-table scenarios. Our approach significantly improves performance across a variety of table retrieval datasets, increasing Acc@10 by 30.5% on HybridQA, 15.2% on SQA, 52.9% on TabFact, and 13.1% on TATQA subsets of the Multi-Table QA Benchmark compared to the base model. Notably, TabRank generalizes effectively to multi-table reasoning. Our code, data and models are available at https://github.com/AdarshSingh7647/TabRanker