MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution

📄 arXiv: 2611.05313v1 📥 PDF

作者: Dian Jin, Jinluan Yang, Kairong Han, Baohong Li, Zijing Hu, Yi He, Wenlin Zhong, Yunze Tong, Minqin Zhu, Linchuan Li, Yanan Niu, Kun Kuang

分类: cs.CL

发布日期: 2026-11-03

💡 一句话要点

提出MDSKILL以解决动态智能体自我进化中的技能记忆内化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 技能记忆 自我进化 多视角蒸馏 强化学习 知识内化 动态指标 策略学习

📋 核心要点

  1. 现有的自我蒸馏方法在技能记忆中存在噪声监督和知识冗余等问题，影响知识内化效果。
  2. MDSKILL通过多视角蒸馏，将技能记忆分为状态基础、动作规划和执行控制三种视角，提升知识的质量和整合能力。
  3. 在不增加计算开销的情况下，MDSKILL在多个基准测试中超越了现有最优性能，验证了其有效性。

📝 摘要（中文）

技能记忆通过文本提示编码过去的经验，以改善自我进化智能体的强化学习（RL）。本研究提出的MDSKILL是一种多视角蒸馏方法，旨在有效内化技能记忆。MDSKILL将技能记忆组织为三种互补的功能视角，并使用动态指标选择高质量技能，以构建特定视角的推理分支。通过在这些分支间转移和整合经验知识，MDSKILL能够加速策略学习，提升智能体的自我进化能力。实验结果表明，MDSKILL在ALFWorld和WebShop基准测试中，性能提升分别达到7.1%和8.1%。

🔬 方法详解

问题定义：本论文旨在解决动态智能体自我进化过程中技能记忆内化的困难，现有方法因噪声和冗余知识导致性能下降。

核心思路：MDSKILL通过多视角蒸馏方法，组织技能记忆为三种互补视角，动态选择高质量技能，从而提高知识内化的效率。

技术框架：MDSKILL的整体架构包括三个主要模块：状态基础、动作规划和执行控制。每个模块通过动态指标选择高质量技能，并进行知识整合。

关键创新：MDSKILL的创新在于其多视角蒸馏策略，通过不同功能视角的知识整合，克服了传统方法的知识冗余和冲突问题。

关键设计：在设计中，MDSKILL使用动态指标来评估技能质量，确保选择的技能在不同视角下均具备高效性，损失函数则针对每个视角进行优化，以提升整体策略的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MDSKILL在ALFWorld和WebShop基准测试中分别提升了7.1%和8.1%的性能，相较于不依赖外部教师模型的基线方法，展现出显著的优势，验证了其在知识内化和策略改进方面的有效性。

🎯 应用场景

MDSKILL的研究成果可广泛应用于智能体的自我学习和进化领域，尤其是在复杂环境中的决策制定和任务执行。其方法论为未来的智能体设计提供了新的思路，可能推动机器人、自动驾驶等领域的发展。

📄 摘要（原文）

Skill memories encode past experiences as textual prompts to improve reinforcement learning (RL) for self-evolving agents. Complementing RL, On-Policy Self-Distillation (OPSD) provides dense, fine-grained supervision to internalize knowledge from skill-guided trajectories and accelerate policy learning. However, self-generated memories often contain noisy supervision and functionally entangled, redundant, or conflicting knowledge, making direct distillation difficult. Under limited training budgets, these issues can hinder knowledge internalization and even degrade performance. To address this problem, we propose MDSKILL, a multi-view distillation approach for skill memory internalization. MDSKILL organizes skill memories into three complementary functional views (state grounding, action planning, and execution control) and selects high-quality skills using dynamic metrics to construct view-specific and integrated reasoning branches. OPSD then transfers and consolidates complementary experiential knowledge across these branches into a shared policy, enabling efficient skill internalization and continuous agent self-evolution. We evaluate MDSKILL on three agent benchmarks against RL, skill-augmented, and self-distillation baselines that do not rely on stronger external teacher models. Without additional computational overhead, MDSKILL improves upon SOTA performance by up to 7.1% and 8.1% on ALFWorld and WebShop. Extensive ablations and evolution analyses further validate its effectiveness in knowledge internalization and policy improvement. The code is available at https://anonymous.4open.science/r/MDSKILL-CF53.