Chain-of-Experience for Continual LLM Improvement

📄 arXiv: 2608.18027v1 📥 PDF

作者: Haoqin Tu, Yunhao Fang, Yizhong Wang, Cihang Xie, Shen Yan

分类: cs.CL

发布日期: 2026-08-18

备注: H.T. and Y.F. contributed to this work equally

💡 一句话要点

提出Chain-of-Experience以提升大语言模型的持续学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 持续学习 反馈机制 迭代交互 性能提升 智能问答 编程辅助

📋 核心要点

  1. 现有的大语言模型在推理时缺乏通过经验学习和改进的能力，评估方法未能充分利用反馈机制。
  2. 论文提出Chain-of-Experience（CoE）概念，通过迭代交互和反馈机制实现模型的持续学习和改进。
  3. 实验结果显示，CoE方法在多个任务上显著优于无反馈基线，单靠自我反馈就实现了5.6%的提升和19%的成本降低。

📝 摘要（中文）

人类通过经验不断学习，而传统的大语言模型（LLM）评估忽视了模型在推理时交互中提升的能力。本文研究了LLM在测试时如何通过迭代经验学习，提出了Chain-of-Experience（CoE）这一概念，模型通过与自身或环境反馈的迭代交互积累经验，形成超越零-shot推理的持续改进循环。我们通过多种反馈机制实例化CoE，并在数学、编码和知识领域对8种LLM进行评估。研究表明，利用迭代经验的模型在各项任务中均优于无反馈基线，单靠自我反馈就实现了5.6%的整体提升和19%的API成本降低。结合互补反馈通道（如模型和正确性信号）可进一步提升准确性，CoE在每个token的准确性上优于现有测试时策略。

🔬 方法详解

问题定义：本文旨在解决大语言模型在推理时缺乏通过经验学习的能力，现有方法未能有效利用反馈进行持续改进。

核心思路：提出Chain-of-Experience（CoE）概念，模型通过与自身或环境的反馈进行迭代交互，积累经验以实现持续改进。

技术框架：CoE的整体架构包括多个反馈机制模块，如自我反馈和环境信号，模型通过这些模块进行迭代学习，形成改进循环。

关键创新：最重要的创新在于通过迭代经验学习的机制，显著提升了模型的性能，尤其是在反馈机制的多样性和互补性方面。

关键设计：在实验中，设置了多种反馈通道，采用了不同的损失函数和评估标准，以确保模型在不同任务上的适应性和提升效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，利用Chain-of-Experience方法，模型在各项任务中实现了5.6%的整体性能提升，同时API成本降低了19%。与无反馈基线相比，CoE方法在每个token的准确性上表现更佳，显示出显著的改进潜力。

🎯 应用场景

该研究的潜在应用领域包括教育、编程辅助和智能问答系统等，能够通过持续学习提升模型的智能水平和用户体验。未来，CoE方法可能会在更多领域中推广，推动大语言模型的智能化进程。

📄 摘要（原文）

Humans continuously learn from experience, whereas conventional large language model (LLM) evaluations ignore the models' ability to improve through inference-time interaction. In this paper, we study how LLMs learn from iterative experience at test time, a setting we refer to as Chain-of-Experience (CoE), where models accumulate experiential traces through iterative interactions with self or environmental feedback to form a continual improvement loop beyond zero-shot inference. We instantiate CoE with diverse feedback mechanisms, including model self-feedback and environmental signals such as correctness or public coding test pass rates, and evaluate across math, coding, and knowledge domains using 8 LLMs, including GPT-5, Gemini-2.5 Pro, Claude-4.5 Sonnet. Our study shows that leveraging iterative experience consistently outperforms feedback-free baselines, achieving substantial gains with self feedback alone, alongside a 5.6% overall improvement and 19% lower API cost across tasks and models. We further show that combining complementary feedback channels (e.g., model and correctness signals) yields additional gains, and that CoE delivers higher accuracy per token than existing test-time strategies. We observe a positive correlation between LLM base ability and improvement capacity, and show that models remain robust under weak or spurious feedback, with different feedback contributing to distinct improvement aspects and most gains emerging early in the iterations.