TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents

📄 arXiv: 2610.41216v1 📥 PDF

作者: Kehong Gong, Xiaoxu Zheng, Guanli Hou, Seunghun Lee, Mengqi Guo, Runjia Tan, Zhengyu Wen, Qi Wang, Xiaoyu He, Mingyuan Zhang, Michael Bi Mi

分类: cs.RO, cs.CV

发布日期: 2026-10-30

备注: 16 pages, 5 figures. Project page: https://garfield-kh.github.io/TinyAstral/

💡 一句话要点

提出TinyAstral以提升小型通用操作代理的自我演化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自我演化 模型蒸馏 机器人操作 视觉-语言模型 递归自我改进 计算效率 小型代理 工具集优化

📋 核心要点

  1. 现有的视觉-语言模型依赖于复杂的工具集和反馈机制，导致推理计算成本高，限制了其在小型代理中的应用。
  2. TinyAstral通过递归自我改进和模型蒸馏，将大型教师模型的成功经验转移到小型学生模型中，降低计算成本。
  3. 在RoboTwin平台上，经过工具集演化，教师模型的成功率显著提升，最终的4B学生模型在多个基准测试中表现优异。

📝 摘要（中文）

本文提出了TinyAstral，一个两阶段的方法，旨在将大型教师模型的自我演化能力转移到小型通用操作代理上。首先，通过递归自我改进（RSI）冻结教师模型并改进其工具集，确保每个改动通过统计测试。接着，收集教师的轨迹并提炼出一个小型学生模型，替代教师模型。实验结果表明，经过工具集演化，教师模型的成功率从33.4%提升至63.6%，而最终的4B学生模型达到了62.8%的成功率，显示出工具集演化的收益能够有效转移到小型模型上。

🔬 方法详解

问题定义：本文旨在解决大型视觉-语言模型在小型操作代理中推理计算成本过高的问题，现有方法难以有效转移成功经验。

核心思路：TinyAstral的核心思路是通过递归自我改进（RSI）和模型蒸馏，将教师模型的工具集优化并转移到小型学生模型中，从而实现性能提升和计算效率的平衡。

技术框架：TinyAstral的整体架构分为两个阶段：第一阶段冻结教师模型并通过RSI改进其工具集，第二阶段收集教师轨迹并提炼出小型学生模型。

关键创新：最重要的创新在于通过统计测试验证工具集改动的有效性，确保每次改动都能带来实际的性能提升，这一过程在小型模型中得以有效复现。

关键设计：在设计中，采用了4B参数的学生模型，确保其在计算资源有限的情况下仍能接近教师模型的性能，同时在工具集演化过程中，采用了多轮的统计测试来验证改动的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过工具集演化，教师模型的成功率从33.4%提升至63.6%，而最终的4B学生模型达到了62.8%的成功率。此外，经过演化的学生模型在多个基准测试中表现优异，接近于552B规划器的性能，且在部署时仅使用教师模型五分之一的加速器时间。

🎯 应用场景

TinyAstral的研究成果在机器人操作、自动化任务和智能代理等领域具有广泛的应用潜力。通过降低推理计算成本，该方法能够使小型机器人在复杂环境中更高效地执行任务，推动智能系统的普及和应用。

📄 摘要（原文）

Robot agents built on vision-language models depend on both the planner and its harness: the tools, feedback, memory, and recovery logic around it. Can improvements to a large teacher's harness be carried into a compact agent with lower inference compute cost? We present TinyAstral, a two-stage approach. We first freeze an open-weight teacher and improve its harness through recursive self-improvement (RSI): frontier LLM agents read the teacher's trajectories and propose harness edits, and each edit is accepted only if it passes a paired statistical test. We then freeze the final harness, collect teacher trajectories with reasoning and failure recovery, and distill a small student that replaces the teacher in the same harness. On RoboTwin, harness evolution raises the teacher's success from 33.4% to 63.6%; the final 4B student reaches 62.8%. Across four harness versions, distilled 4B students score close to their corresponding teachers, and later versions yield stronger students, showing that harness evolution gains carry into compact models. The harness gains also transfer to other frozen planners without retraining. On identical episodes, the final 4B student outperforms open 4B agents, the open 27B harness-RSI model SenseNova-RoboRSI, and our own teacher model placed in three competitors' harnesses. It stays close to its teacher on all three training benchmarks, and on three benchmarks never used for RSI or training it scores close to a 552B planner running the same harness. On the measured deployment episodes, it uses about one fifth of its teacher's accelerator time.