Deep Natural Language Feature Learning for Interpretable Prediction

📄 arXiv: 2311.05754v1 📥 PDF

作者: Felipe Urrutia, Cristian Buc, Valentin Barriere

分类: cs.CL, cs.AI

发布日期: 2023-11-09

DOI: 10.18653/v1/2023.emnlp-main.229

💡 一句话要点

提出自然语言特征学习方法以实现可解释预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 特征学习 可解释性 机器学习 决策树 弱标签 零-shot推理

📋 核心要点

  1. 现有方法在处理复杂任务时往往难以有效分解，导致模型性能受限。
  2. 论文提出通过自然语言形式的二元问题来构建简单子任务，从而生成自然语言学习特征（NLLF）。
  3. 实验结果显示，使用NLLF的决策树在某些情况下超越了预训练变换器的性能，提升了模型的可解释性和准确性。

📝 摘要（中文）

本文提出了一种通用方法，将复杂任务分解为一组更简单的子任务，这些子任务以自然语言形式的二元问题来表述。该方法通过小型变换器语言模型（如BERT）生成自然语言学习特征（NLLF），并利用从大型语言模型（LLM）自动获得的弱标签进行训练。研究表明，LLM在主任务中表现不佳，但能够处理这些简单的子任务并生成有用的弱标签。NLLF向任何二元问题的零-shot 推理提供支持，并且可以作为易于解释的机器学习模型（如决策树）的输入。该方法在检测学生数学考试开放性问题的连贯性和筛选气候变化与农业生态学的文献综述摘要等任务中取得了成功应用。

🔬 方法详解

问题定义：本文旨在解决复杂任务的分解与理解问题，现有方法在处理复杂任务时往往难以有效分解，导致模型性能受限。

核心思路：通过将复杂任务转化为自然语言形式的二元问题，生成自然语言学习特征（NLLF），以便于模型理解和处理。这样的设计使得模型能够在零-shot情况下处理未见过的问题。

技术框架：整体架构包括使用小型变换器语言模型（如BERT）进行NLLF生成，利用从大型语言模型（LLM）获得的弱标签进行训练。流程包括任务分解、特征生成和模型训练三个主要阶段。

关键创新：最重要的创新点在于通过自然语言推理（NLI）方式训练BERT，使其能够处理任何二元问题，而不仅限于训练期间见过的问题。这一方法显著提高了模型的灵活性和适应性。

关键设计：在模型训练中，采用了弱标签生成机制，结合NLI训练策略，确保BERT能够有效学习并生成高质量的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用NLLF的决策树在检测学生答案连贯性和文献筛选任务中表现优异，某些情况下超越了预训练变换器的性能，显示出显著的提升幅度，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括教育评估、文献筛选和其他需要自然语言理解的任务。通过提供可解释的预测结果，该方法能够帮助教育工作者和研究人员更好地理解模型决策过程，从而提高决策的透明度和信任度。

📄 摘要（原文）

We propose a general method to break down a main complex task into a set of intermediary easier sub-tasks, which are formulated in natural language as binary questions related to the final target task. Our method allows for representing each example by a vector consisting of the answers to these questions. We call this representation Natural Language Learned Features (NLLF). NLLF is generated by a small transformer language model (e.g., BERT) that has been trained in a Natural Language Inference (NLI) fashion, using weak labels automatically obtained from a Large Language Model (LLM). We show that the LLM normally struggles for the main task using in-context learning, but can handle these easiest subtasks and produce useful weak labels to train a BERT. The NLI-like training of the BERT allows for tackling zero-shot inference with any binary question, and not necessarily the ones seen during the training. We show that this NLLF vector not only helps to reach better performances by enhancing any classifier, but that it can be used as input of an easy-to-interpret machine learning model like a decision tree. This decision tree is interpretable but also reaches high performances, surpassing those of a pre-trained transformer in some cases.We have successfully applied this method to two completely different tasks: detecting incoherence in students' answers to open-ended mathematics exam questions, and screening abstracts for a systematic literature review of scientific papers on climate change and agroecology.