Rule or Story, Which is a Better Commonsense Expression for Talking with Large Language Models?
作者: Ning Bian, Xianpei Han, Hongyu Lin, Yaojie Lu, Ben He, Le Sun
分类: cs.CL
发布日期: 2024-02-22 (更新: 2024-06-04)
备注: Accepted to ACL 2024
💡 一句话要点
提出故事作为更优的常识表达方式以提升大语言模型的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 常识推理 大语言模型 故事表达 自监督学习 自然语言处理 问答系统 人机交互
📋 核心要点
- 现有方法在常识推理中存在报告偏差和曝光偏差，导致常识规则的有效性受限。
- 论文提出通过故事作为常识表达方式，系统比较故事与规则在大语言模型中的表现。
- 实验结果显示，故事在28个常识问答数据集上表现优于规则，特别是在日常事件问题上。
📝 摘要（中文）
构建具有常识的机器一直是自然语言处理中的长期挑战，主要由于常识规则的报告偏差和基于规则的常识推理的曝光偏差。与此相对，人类通过故事隐含地传递常识。本文探讨了通过讲故事来表达大语言模型的内在常识能力。我们系统地研究并比较了故事和规则在大语言模型中检索和利用常识的效果。实验结果表明，故事在常识检索中优于规则，展现出更高的生成信心和常识准确性，尤其在日常事件问题上表现更佳，而规则在科学问题上更有效。这些发现强调了使用适当语言表达和利用常识的重要性，为更好地开发大语言模型的常识能力指明了方向。
🔬 方法详解
问题定义：本文旨在解决大语言模型在常识推理中面临的报告偏差和曝光偏差问题，现有的基于规则的方法在实际应用中效果有限。
核心思路：通过使用故事作为常识的表达方式，利用人类传递常识的隐性方式，提升大语言模型的常识检索能力。
技术框架：研究首先对比故事和规则在常识检索中的表现，随后通过自监督微调进一步提升故事的正确性和相关性。主要模块包括数据集构建、模型训练和性能评估。
关键创新：最重要的创新在于提出故事作为常识表达的有效替代方案，展示了其在日常事件问题上的优越性，与传统的规则方法形成鲜明对比。
关键设计：在实验中，采用了28个常识问答数据集进行评估，设置了多种参数以优化模型性能，使用自监督学习策略来提升故事的生成质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，故事在常识检索中表现优于规则，生成信心和常识准确性显著提升。在28个常识问答数据集上，故事在日常事件问题上的表现更佳，展示了较高的生成质量和相关性，进一步验证了自监督微调的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话系统和教育技术等。通过提升大语言模型的常识推理能力，可以更好地满足用户在日常生活中的信息需求，增强人机交互的自然性与有效性，未来可能在多个行业产生深远影响。
📄 摘要（原文）
Building machines with commonsense has been a longstanding challenge in NLP due to the reporting bias of commonsense rules and the exposure bias of rule-based commonsense reasoning. In contrast, humans convey and pass down commonsense implicitly through stories. This paper investigates the inherent commonsense ability of large language models (LLMs) expressed through storytelling. We systematically investigate and compare stories and rules for retrieving and leveraging commonsense in LLMs. Experimental results on 28 commonsense QA datasets show that stories outperform rules as the expression for retrieving commonsense from LLMs, exhibiting higher generation confidence and commonsense accuracy. Moreover, stories are the more effective commonsense expression for answering questions regarding daily events, while rules are more effective for scientific questions. This aligns with the reporting bias of commonsense in text corpora. We further show that the correctness and relevance of commonsense stories can be further improved via iterative self-supervised fine-tuning. These findings emphasize the importance of using appropriate language to express, retrieve, and leverage commonsense for LLMs, highlighting a promising direction for better exploiting their commonsense abilities.