SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

📄 arXiv: 2608.17948v1 📥 PDF

作者: Xuan Zheng, Kento Uchida, Shinichi Shirakawa

分类: cs.LG, cs.AI

发布日期: 2026-08-18

💡 一句话要点

提出SIGMA以解决长时间优化中的元数据缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动特征工程 大型语言模型 SHAP值 隐式轨迹生成 特征生成 机器学习

📋 核心要点

  1. 现有方法在长时间优化中面临缺乏语义元数据和轨迹累积导致的上下文窗口超限等挑战。
  2. SIGMA通过SHAP值提供任务感知信号，采用EXIT方法使特征生成过程更加稳定且高效。
  3. 实验结果显示，SIGMA在特征利用效率上显著提升，生成特征的重复率从37.2%降至6.8%。

📝 摘要（中文）

近年来的研究利用大型语言模型（LLMs）通过语义描述和基于轨迹的提示来增强自动特征工程（AutoFE）。然而，存在两个限制其适用性和可扩展性的挑战：一是许多实际场景中缺乏语义元数据，二是轨迹累积增加了超出上下文窗口的风险，而不使用轨迹则可能导致生成过程不稳定，容易陷入局部最优并产生高重复率。为此，本文提出了一种基于SHAP的隐式轨迹生成框架SIGMA，旨在实现无元数据的AutoFE。SIGMA利用SHAP值提供任务感知信号以指导特征生成，并采用EXposed-feature Implicit Trajectory（EXIT）方法，使提示中的暴露特征隐式代表轨迹。实验证明，SIGMA在几乎恒定的提示长度下实现了与最先进基线相当的性能，同时EXIT显著降低了生成特征的重复率。

🔬 方法详解

问题定义：本文旨在解决在长时间优化中缺乏语义元数据和轨迹累积导致的生成不稳定性问题。现有方法在这些情况下容易陷入局部最优，且生成特征重复率高。

核心思路：SIGMA通过利用SHAP值提供任务感知信号，替代传统的语义信息来指导特征生成。同时，采用EXIT方法使得提示中的暴露特征隐式代表轨迹，从而避免了上下文窗口的限制。

技术框架：SIGMA的整体架构包括特征生成模块和轨迹管理模块。特征生成模块利用SHAP值进行特征选择和生成，轨迹管理模块则通过EXIT方法管理生成过程中的特征轨迹。

关键创新：SIGMA的主要创新在于使用SHAP值进行特征生成指导，避免了对语义元数据的依赖，同时EXIT方法有效降低了特征生成的重复率。与现有方法相比，SIGMA在特征生成的稳定性和效率上有显著提升。

关键设计：在参数设置上，SIGMA采用了固定的提示长度，确保生成过程的稳定性。损失函数设计上，结合了SHAP值的任务感知性，优化特征生成的质量和多样性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SIGMA在实验中表现出与最先进的基线相当的性能，且在特征生成的重复率上显著降低，从37.2%降至6.8%。此外，SIGMA在特征利用效率上也有显著提升，平均仅需生成5.4个特征即可达到传统SOTA性能。

🎯 应用场景

SIGMA的研究成果在自动特征工程领域具有广泛的应用潜力，尤其是在缺乏语义元数据的实际场景中。其高效的特征生成能力可为机器学习模型提供更优质的输入特征，提升模型的性能和泛化能力，未来可推广至更多数据驱动的应用场景。

📄 摘要（原文）

Recent research has leveraged Large Language Models (LLMs) to enhance Automated Feature Engineering (AutoFE) through semantic descriptions and trajectory-based prompting. However, there exist two challenges that limit their applicability and scalability in long-horizon optimization: (1) semantic metadata is unavailable in many practical settings, and (2) trajectory accumulation increases the risk of exceeding the context window, while without it, the generation process can become unstable, leading to becoming stuck in the local optima and a high duplicate rate of generated features. To this end, we propose a SHAP-enhanced Implicit-trajectory Generation for Metadata-free AutoFE (SIGMA), a scalable constant-context optimization framework. SIGMA leverages SHAP values to provide task-aware signals for guiding group feature generation instead of semantic information. In addition, we adopt an EXposed-feature Implicit Trajectory (EXIT) approach, where the exposed features in the prompt implicitly represent the trajectory. Empirical results demonstrate that SIGMA achieves performance comparable to the state-of-the-art (SOTA) LLM baselines with a nearly constant prompt length. Notably, EXIT significantly reduces the duplicate ratio of generated features from 37.2% to 6.8%. At the same time, SIGMA matches traditional SOTA performance with only 5.4 features on average, demonstrating substantial efficiency gains in feature utilization.