Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification

📄 arXiv: 2505.05744v1 📥 PDF

作者: Ruxue Shi, Hengrui Gu, Xu Shen, Xin Wang

分类: cs.LG, cs.CL

发布日期: 2025-05-09

💡 一句话要点

提出利用LLM解释提升表格数据分类的代理模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 表格数据分类 可解释性 代理模型 上下文学习 演示选择 机器学习

📋 核心要点

  1. 现有LLM方法在资源需求、演示选择和可解释性方面存在不足，限制了其在实际应用中的表现。
  2. 本文提出的框架通过利用LLM生成的解释，指导代理模型进行可解释的表格数据预测，提升了模型的性能。
  3. 实验结果表明，该框架在不同领域的表格数据集上平均提高了5.31%的准确率，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在解决复杂任务方面表现出色，成为增强表格学习的有前景工具。然而，现有基于LLM的方法面临高资源需求、演示选择不佳和可解释性有限等问题，严重影响其预测性能和实际应用。为此，本文提出了一种新颖的上下文学习框架，利用LLM生成的解释来指导较小的本地可部署的代理语言模型（SLM）进行可解释的表格预测。该框架主要包括三个阶段：生成后置解释、基于解释的演示选择和基于解释的SLM预测。实验结果显示，该框架在多个领域的表格数据集上平均提高了5.31%的准确率。

🔬 方法详解

问题定义：本文旨在解决现有LLM方法在表格数据分类中的高资源需求、演示选择不佳和可解释性不足等痛点。这些问题限制了LLM在实际应用中的有效性和可用性。

核心思路：论文的核心思路是通过生成的解释来指导一个较小的、可本地部署的代理语言模型（SLM），从而实现可解释的表格预测。这种设计旨在降低资源消耗，同时提高模型的可解释性。

技术框架：整体框架分为三个主要阶段：第一阶段是生成后置解释，利用LLM为候选演示中的问答对生成解释；第二阶段是基于解释的演示选择，利用生成的解释指导演示选择过程；第三阶段是基于解释的SLM预测，使用第二阶段获得的演示作为上下文，并合并相应的解释以提高SLM的性能。

关键创新：最重要的技术创新在于利用LLM生成的解释来指导演示选择和模型预测，这与传统方法的直接输入方式有本质区别，增强了模型的可解释性和性能。

关键设计：在关键设计方面，论文详细描述了如何生成后置解释、选择演示的标准，以及SLM的结构和损失函数设置，以确保模型的有效性和可解释性。具体参数设置和网络结构细节在实验部分进行了深入探讨。

📊 实验亮点

实验结果显示，提出的框架在多个表格数据集上平均提高了5.31%的准确率，显著优于现有基线方法。这一提升表明，利用LLM生成的解释能够有效增强代理模型的性能，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和市场分析等需要表格数据分类的场景。通过提高模型的可解释性和性能，能够帮助决策者更好地理解模型输出，从而在实际应用中做出更为准确的判断。未来，该框架有望在更多领域推广应用，提升数据驱动决策的透明度和可靠性。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable ability in solving complex tasks, making them a promising tool for enhancing tabular learning. However, existing LLM-based methods suffer from high resource requirements, suboptimal demonstration selection, and limited interpretability, which largely hinder their prediction performance and application in the real world. To overcome these problems, we propose a novel in-context learning framework for tabular prediction. The core idea is to leverage the explanations generated by LLMs to guide a smaller, locally deployable Surrogate Language Model (SLM) to make interpretable tabular predictions. Specifically, our framework mainly involves three stages: (i) Post Hoc Explanation Generation, where LLMs are utilized to generate explanations for question-answer pairs in candidate demonstrations, providing insights into the reasoning behind the answer. (ii) Post Hoc Explanation-Guided Demonstrations Selection, which utilizes explanations generated by LLMs to guide the process of demonstration selection from candidate demonstrations. (iii) Post Hoc Explanation-Guided Interpretable SLM Prediction, which utilizes the demonstrations obtained in step (ii) as in-context and merges corresponding explanations as rationales to improve the performance of SLM and guide the model to generate interpretable outputs. Experimental results highlight the framework's effectiveness, with an average accuracy improvement of 5.31% across various tabular datasets in diverse domains.