KAM-CoT: Knowledge Augmented Multimodal Chain-of-Thoughts Reasoning

📄 arXiv: 2401.12863v1 📥 PDF

作者: Debjyoti Mondal, Suraj Modi, Subhadarshi Panda, Rituraj Singh, Godawari Sudhakar Rao

分类: cs.CL, cs.AI

发布日期: 2024-01-23

备注: AAAI 2024

💡 一句话要点

提出KAM-CoT以解决多模态推理中的知识不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 链式思维 知识图谱 知识增强 自然语言处理 模型训练 科学问答 计算效率

📋 核心要点

  1. 现有多模态推理方法在处理外部知识时存在不足，导致答案质量不高和幻觉现象频繁。
  2. KAM-CoT框架通过结合链式思维和知识图谱，采用两阶段训练过程，增强了模型的推理能力。
  3. 在ScienceQA数据集上，KAM-CoT的平均准确率达到93.87%，显著优于现有最先进方法，展现出较高的性价比。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理任务中表现出色，利用链式思维（CoT）实现逐步推理。近年来，扩展LLMs的多模态能力引起了关注，但这会增加计算成本并需要大量硬件资源。为了解决这些挑战，本文提出了KAM-CoT框架，集成了CoT推理、知识图谱（KGs）和多种模态，以全面理解多模态任务。KAM-CoT采用两阶段训练过程，通过KG基础生成有效的推理和答案。通过在推理过程中引入外部知识，模型获得更深层的上下文理解，减少幻觉现象，提高答案质量。实验结果表明，KAM-CoT在ScienceQA数据集上的平均准确率达到93.87%，超越了GPT-3.5（75.17%）和GPT-4（83.99%），且仅需280M可训练参数，展现出成本效益和有效性。

🔬 方法详解

问题定义：本文旨在解决多模态推理中对外部知识的依赖不足问题，现有方法在处理复杂问题时常常出现答案不准确和幻觉现象。

核心思路：KAM-CoT框架通过引入知识图谱（KGs）来增强链式思维（CoT）推理，提供更丰富的上下文信息，从而提高答案的准确性和可靠性。

技术框架：KAM-CoT采用两阶段训练过程，第一阶段通过KG对模型进行基础训练，第二阶段则利用KG生成有效的推理和答案。框架主要包括数据预处理、KG集成、推理生成和答案优化等模块。

关键创新：KAM-CoT的核心创新在于将知识图谱与链式思维相结合，形成知识增强的推理机制，这一设计显著提升了模型在多模态任务中的表现。

关键设计：模型的参数设置为280M，采用特定的损失函数以优化推理质量，网络结构设计上注重多模态信息的融合与知识的有效利用。通过这些设计，KAM-CoT在保持较低计算成本的同时，提升了推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KAM-CoT在ScienceQA数据集上的表现尤为突出，平均准确率达到93.87%，较GPT-3.5提升了18%，较GPT-4提升了10%。这一成果展示了KAM-CoT在多模态推理中的优越性，同时仅需280M的可训练参数，体现了其高效性。

🎯 应用场景

KAM-CoT框架在教育、医疗、科学研究等领域具有广泛的应用潜力。通过提供更准确的答案和推理过程，该模型能够辅助决策、提升学习效果，并在复杂问题解决中发挥重要作用。未来，KAM-CoT的技术可以进一步扩展到更多实际场景，推动多模态智能系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated impressive performance in natural language processing tasks by leveraging chain of thought (CoT) that enables step-by-step thinking. Extending LLMs with multimodal capabilities is the recent interest, but incurs computational cost and requires substantial hardware resources. To address these challenges, we propose KAM-CoT a framework that integrates CoT reasoning, Knowledge Graphs (KGs), and multiple modalities for a comprehensive understanding of multimodal tasks. KAM-CoT adopts a two-stage training process with KG grounding to generate effective rationales and answers. By incorporating external knowledge from KGs during reasoning, the model gains a deeper contextual understanding reducing hallucinations and enhancing the quality of answers. This knowledge-augmented CoT reasoning empowers the model to handle questions requiring external context, providing more informed answers. Experimental findings show KAM-CoT outperforms the state-of-the-art methods. On the ScienceQA dataset, we achieve an average accuracy of 93.87%, surpassing GPT-3.5 (75.17%) by 18% and GPT-4 (83.99%) by 10%. Remarkably, KAM-CoT achieves these results with only 280M trainable parameters at a time, demonstrating its cost-efficiency and effectiveness.