ImplicitHop: Evaluating knowledge integration across context and memory
作者: Alexander Detkov, Dashiel Karish, Matthew Oleynikov, Matt Thomson
分类: cs.AI
发布日期: 2026-10-30
备注: 6 pages, 2 figures
💡 一句话要点
提出ImplicitHop以评估知识在上下文和记忆中的整合能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识整合 推理能力 大型语言模型 图基准 知识图谱 上下文信息 持续学习
📋 核心要点
- 现有大型语言模型在知识整合和推理深度方面存在显著局限，尤其是在长链推理时准确性迅速下降。
- 本文提出了两个自然语言基准，分别用于控制评估图结构和知识组合，以探索信息整合的能力。
- 实验结果表明，尽管预训练和上下文知识的准确性都随组合长度下降，但上下文信息的表现显著优于模型权重中的信息。
📝 摘要（中文）
在大型语言模型（LLMs）中，整合新信息并推导其后果的能力对于学习、理解和推理至关重要。无论信息是在训练期间还是在上下文中到达，模型不仅需要存储局部事实，还需在全局范围内传播其长远影响。为此，本文引入了两个互补的自然语言基准，以大规模评估推理深度下的演绎推理能力。第一个是形式图基准，允许对各种图拓扑和整合任务进行控制评估；第二个是基于现实世界知识图谱的知识组合基准。通过这些基准，我们比较了上下文中编码的信息与预训练期间编码的信息的知识整合，发现上下文中呈现的信息显著优于权重中编码的信息。这些结果量化了当前模型的基本局限性，并为支持更深层次推理的训练、提示和整合方法的发展奠定了基础。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理深度和知识整合方面的不足，尤其是当信息组合长度增加时，模型的准确性显著下降。现有方法未能有效评估和整合上下文与记忆中的知识。
核心思路：通过引入两个互补的基准，本文探索了在不同图拓扑和知识组合任务中，如何有效整合上下文信息与预训练模型权重中的信息，以提高推理能力。
技术框架：整体架构包括两个主要模块：第一个模块是形式图基准，用于控制评估不同图结构的推理能力；第二个模块是知识组合基准，基于真实世界的知识图谱进行评估。
关键创新：本文的主要创新在于提出了针对推理深度的系统评估框架，能够量化上下文信息与模型权重信息的整合效果，揭示了当前模型在长链推理中的局限性。
关键设计：在实验中，采用了多种图拓扑结构和知识组合策略，评估模型在不同组合长度下的表现，特别关注上下文信息的影响。
📊 实验亮点
实验结果显示，随着信息组合长度的增加，模型的准确性显著下降，但上下文中呈现的信息在推理表现上明显优于权重中编码的信息。这一发现为模型的提示控制和持续学习策略提供了重要的指导。
🎯 应用场景
该研究为大型语言模型的知识整合和推理能力提供了新的评估方法，具有广泛的应用潜力。它可以用于改进智能助手、自动问答系统和其他需要深层次推理的人工智能应用，推动持续学习策略的发展。
📄 摘要（原文）
The ability to integrate new information and deduce its consequences is central to learning, understanding, and reasoning in large language models (LLMs). Whether information arrives during training or in-context, models must not only store local facts, but propagate their long-range implications globally. To explore information integration in LLMs, we introduce two complementary natural language benchmarks for large-scale evaluation of deductive reasoning as a function of inference depth. The first is a formal graph benchmark enabling controlled evaluation over a wide range of graph topologies and integration tasks; the second is a knowledge composition benchmark grounded in real-world knowledge graphs. We use these benchmarks to compare knowledge integration from information encoded in context versus information encoded in model weights during pretraining, evaluating a set of open models implicitly, without chain of thought. We find that accuracy decays sharply with increased composition length for both pretrained and in-context knowledge. Information presented in-context, however, substantially outperforms deduction over information encoded in weights. These results quantify a fundamental limitation of current models with direct implications for prompt-based control of agent behavior and for continual learning strategies, and they provide a foundation for developing training, prompting, and integration methods that support deeper reasoning.