GitOfThoughts: Version-Controlled Reasoning and Agent Memory You Can Replay, Diff, and Merge
作者: Pavan C Shekar, Abhishek H S, Aswanth Krishnan
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-12
备注: 10 pages, 1 figure, 9 tables
💡 一句话要点
提出GitOfThoughts以解决推理过程缺乏版本控制的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推理过程 版本控制 智能体 大语言模型 可重放 可审计 内存机制
📋 核心要点
- 现有的大语言模型推理过程缺乏版本控制，导致思维链和搜索分支无法追踪和审计。
- 论文提出GitOfThoughts，通过将推理树存储为git仓库，实现推理过程的重放、审计和合并。
- 实验结果表明，内存格式对新问题的准确性没有显著提升，只有在相似度高于一定阈值时，准确性才会显著提高。
📝 摘要（中文）
大语言模型（LLM）的推理过程是短暂的：思维链在上下文窗口中消失，修剪的搜索分支没有记录，内存缓冲区无法进行差异比较、合并或审计。与其他复杂软件过程（代码、基础设施、数据、实验）不同，推理过程没有版本控制。我们提出GitOfThoughts，将智能体的推理树存储为git仓库：每个评分的思维都是一个提交，评分是注释，结果是标签，检索则是对智能体自身历史的“git log”。这使得推理过程可重放、可审计，并且在接近零的工程成本下可以跨智能体合并。我们进一步探讨内存是否在任何基质中实际提高准确性，结果显示对于新问题而言，内存格式并没有可靠的帮助。
🔬 方法详解
问题定义：论文要解决的问题是大语言模型推理过程的短暂性和缺乏版本控制，导致推理链和搜索分支无法被追踪和审计。现有方法无法有效记录和重放推理过程，影响了智能体的可解释性和可靠性。
核心思路：论文的核心思路是将智能体的推理树存储为git仓库，使得每个思维过程都可以被视为一个提交，从而实现推理过程的重放、审计和合并。这种设计使得推理过程的历史记录变得可追溯，便于分析和优化。
技术框架：整体架构包括推理树的构建、存储和检索三个主要模块。推理树的每个节点代表一个思维过程，节点之间的关系通过git的提交历史进行管理。检索模块允许用户通过“git log”命令查看智能体的推理历史。
关键创新：最重要的技术创新点在于将推理过程与版本控制系统结合，使得推理过程不仅可重放，还可以进行审计和合并。这与现有方法的本质区别在于，现有方法通常缺乏对推理过程的系统性记录。
关键设计：在设计中，关键参数包括推理树的结构和节点的评分机制。损失函数和网络结构的选择旨在优化推理过程的准确性和效率，同时确保推理历史的完整性和可追溯性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在五种不同的内存基质下，内存格式对新问题的准确性没有显著提升，只有在相似度超过0.8时，准确性才会显著提高。即使模型规模增大，仍然无法从实例中提取可转移的方法，表明内存的效用主要体现在答案检索而非方法转移上。
🎯 应用场景
该研究的潜在应用领域包括智能体的推理过程优化、可解释人工智能和复杂决策系统。通过实现推理过程的版本控制，GitOfThoughts可以帮助开发者更好地理解和改进智能体的决策过程，提升系统的透明度和可靠性。未来，该方法可能在多智能体系统和协作机器人等领域发挥重要作用。
📄 摘要（原文）
Large language model (LLM) reasoning is ephemeral: chains of thought vanish with the context window, pruned search branches leave no record, and memory buffers cannot be diffed, merged, or audited. Every other complex software process (code, infrastructure, data, experiments) is version-controlled; reasoning is not. We introduce GitOfThoughts, which stores an agent's reasoning tree as a git repository: every scored thought is a commit, scores are notes, outcomes are tags, and retrieval is "git log" over the agent's own history. This makes reasoning replayable, auditable, and mergeable across agents at near-zero engineering cost. We then ask the harder question: does memory, in any substrate, actually improve accuracy? Across five substrates (none, markdown, vector, graph, git), two benchmarks, two model scales, and pre-registered replications, the answer for novel problems is no. No memory format reliably helps, and a promising early result collapsed under its own pre-registered replication. Memory pays only above what we call the copyability threshold: when the retrieved case is a near-duplicate of the current problem (similarity >~ 0.8), accuracy jumps sharply; below it, nothing. The gain is answer retrieval, not method transfer: a 4.5x larger model doubles the near-duplicate payoff yet still cannot extract a transferable method from a worked example. The only general lever we find is test-time sampling. The case for git-as-substrate is therefore auditability, provenance, and mergeability at accuracy parity. We document a retracted result and a refuted hypothesis to model the evaluation standard we hold ourselves to.