Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures

📄 arXiv: 2401.16024v1 📥 PDF

作者: Michael Hersche, Francesco di Stefano, Thomas Hofmann, Abu Sebastian, Abbas Rahimi

分类: cs.LG, cs.AI

发布日期: 2024-01-29

备注: Accepted in NeurIPS 2023 Workshop on MATH-AI

🔗 代码/项目: GITHUB

💡 一句话要点

提出Learn-VRF以高效解决抽象推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抽象推理 向量符号架构 规则学习 深度学习 人工智能

📋 核心要点

  1. 现有方法在抽象推理任务中往往依赖于硬编码规则，缺乏灵活性和可解释性。
  2. 本研究提出Learn-VRF，通过一次性学习VSA规则公式，避免了复杂的规则编码过程。
  3. 实验结果表明，Learn-VRF在同分布数据上准确性高，并在未见数据上表现优异，超越传统方法。

📝 摘要（中文）

抽象推理是人类智能的基石，而用人工智能（AI）复制这一能力仍然面临挑战。本研究聚焦于通过向量符号架构（VSA）中的分布式计算和运算符，来高效解决拉文进阶矩阵（RPM）这一视觉测试。我们的方法Learn-VRF能够在仅一次训练数据遍历中学习VSA规则公式，避免了硬编码的复杂性，同时保持参数的紧凑性和透明性。Learn-VRF在I-RAVEN的同分布数据上表现出色，并在未见属性-规则对的情况下展现出强大的跨分布能力，显著超越了包括大型语言模型在内的纯连接主义基线。我们的代码已在GitHub上发布。

🔬 方法详解

问题定义：本论文旨在解决抽象推理任务中的规则学习问题，现有方法通常依赖于手动编码的规则，缺乏灵活性和适应性，难以处理未见数据。

核心思路：论文提出的Learn-VRF方法通过一次性学习向量符号架构中的规则公式，利用分布式计算提高效率，同时保持模型的透明性和可解释性。

技术框架：整体架构包括数据预处理、规则学习模块和推理模块。数据预处理负责准备训练数据，规则学习模块通过一次遍历学习规则，推理模块则用于生成预测结果。

关键创新：Learn-VRF的最大创新在于其能够在单次数据遍历中学习规则，避免了传统方法的复杂性，并且在参数上保持紧凑性，提升了模型的可解释性。

关键设计：在参数设置上，Learn-VRF采用了紧凑的向量表示，损失函数设计为适应抽象推理任务的特性，网络结构则基于VSA的原理，确保了高效的计算和推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Learn-VRF在I-RAVEN的同分布数据上取得了高准确率，并在未见属性-规则对的情况下表现出强大的跨分布能力，显著超越了包括大型语言模型在内的纯连接主义基线，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括教育评估、智能问答系统和复杂决策支持等。通过提升抽象推理能力，AI系统能够更好地理解和处理复杂问题，具有重要的实际价值和未来影响。

📄 摘要（原文）

Abstract reasoning is a cornerstone of human intelligence, and replicating it with artificial intelligence (AI) presents an ongoing challenge. This study focuses on efficiently solving Raven's progressive matrices (RPM), a visual test for assessing abstract reasoning abilities, by using distributed computation and operators provided by vector-symbolic architectures (VSA). Instead of hard-coding the rule formulations associated with RPMs, our approach can learn the VSA rule formulations (hence the name Learn-VRF) with just one pass through the training data. Yet, our approach, with compact parameters, remains transparent and interpretable. Learn-VRF yields accurate predictions on I-RAVEN's in-distribution data, and exhibits strong out-of-distribution capabilities concerning unseen attribute-rule pairs, significantly outperforming pure connectionist baselines including large language models. Our code is available at https://github.com/IBM/learn-vector-symbolic-architectures-rule-formulations.