Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training

📄 arXiv: 2608.26730v1 📥 PDF

作者: Tingyun Li, Wenfeng Feng, Weiqing Li, Abudukelimu Wuerkaixi, Guohua Liu, Yuewei Zhang

分类: cs.AI

发布日期: 2026-08-27

💡 一句话要点

提出边界校准干预转移方法以优化自主LLM后训练

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 条件经验转移 边界校准干预 自主系统 大型语言模型 后训练优化 模型适应性 性能提升

📋 核心要点

  1. 现有方法在后训练过程中未能有效区分哪些过去的更新证据在模型变化后仍然可用，导致计算资源浪费。
  2. 论文提出的BCIT方法通过绑定观察效果与源上下文，确保经验重用的适用性，从而优化后训练过程。
  3. 实验结果显示，BCIT在相同预算下，授权的有害更新更少，最终模型质量显著高于其他对比方法。

📝 摘要（中文）

大型语言模型具备广泛能力，但在不断变化的领域和需求中，适应这些模型通常需要反复的后训练。自主系统通过自动化部分过程来提出更新、训练候选模型，并利用评估反馈选择后续提案。本文提出了条件经验转移的概念，并引入边界校准干预转移（BCIT）方法，以在权重变化训练前授权经验重用。BCIT将观察到的效果与其源上下文绑定，检查适用条件，否决存在硬冲突的候选，并在必要时通过有限训练试验获取当前状态证据。实验结果表明，BCIT在多个上下文中授权的有害更新更少，最终模型质量高于其他评估方法。

🔬 方法详解

问题定义：本文解决的问题是如何在大型语言模型的后训练过程中有效判断哪些过去的更新证据仍然适用。现有方法未能考虑模型变化对更新效果的影响，导致资源浪费和训练轨迹下降。

核心思路：BCIT方法的核心思想是将经验重用与其源上下文绑定，确保在权重变化训练前进行适用性检查，从而避免不必要的计算和潜在的性能下降。

技术框架：BCIT的整体架构包括几个主要模块：首先是效果观察和上下文绑定，其次是适用性条件检查，接着是对候选更新的否决机制，最后在必要时进行有限训练试验以获取当前状态证据。

关键创新：BCIT的主要创新在于将经验授权视为一个独立问题，强调在后训练中对经验重用的条件性管理。这一方法与现有方法的本质区别在于其动态适应性和上下文敏感性。

关键设计：BCIT在设计上考虑了多个参数设置，包括适用性条件的定义、候选更新的评估标准，以及有限训练试验的设计，以确保在不同上下文中有效地授权经验重用。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在一个4B参数的模型上，BCIT方法在适应金融推理、文本到SQL和函数调用等任务时，授权的有害更新数量显著减少，最终模型质量在相同预算下高于其他对比方法，展示了BCIT的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括金融推理、文本到SQL转换和函数调用等多个领域，能够显著提高大型语言模型在动态环境中的适应能力和性能。未来，BCIT方法可能在更多自主系统的后训练中发挥重要作用，推动模型的持续优化和智能化发展。

📄 摘要（原文）

Large language models offer broad capabilities, but adapting them to evolving domains, tools, and requirements often entails repeated post-training. Autonomous systems automate parts of this process by proposing updates, training candidates, and using evaluation feedback to select subsequent proposals. As evidence accumulates, a central problem emerges: which past update evidence remains actionable after subsequent training has changed the parent model? An update's effect depends on its parent, data, and training stage. Treating past success as context-free permission can waste compute. If the resulting child is promoted, it can also degrade the subsequent training trajectory. We formulate this problem as conditional experience transfer and introduce Boundary-Calibrated Intervention Transfer (BCIT), a method that authorizes experience reuse before weight-changing training. BCIT binds an observed effect to its source context, checks applicability conditions, vetoes candidates with named hard conflicts, and obtains current-state evidence through a bounded training trial when needed. Fully trained candidates still face a shared adoption rule, and only observed events extend memory. On one 4B model adapted across finance reasoning, text-to-SQL, and function calling, candidate updates exhibit heterogeneous target and retention effects across the evaluated contexts. Under matched candidates, evidence, and compute, BCIT authorizes fewer harmful updates and attains higher equal-budget final-model quality than the evaluated alternatives. These results support treating experience authorization as a distinct problem in autonomous post-training.