ATHENA: Accelerated Multi-Task Heterogeneous Influence Functions for Robot Data Curation
作者: Tao Xu, Jiaxin Wang, Runhao Zhang, Jiayi Guan, Xianchao Zeng, Weixi Song, Xinyu Zhou, Zhetao Chen, Guang Chen, Yong-Lu Li
分类: cs.RO
发布日期: 2026-06-15
💡 一句话要点
提出ATHENA以解决机器人数据管理中的多任务影响函数计算瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 影响函数 机器人学习 多任务学习 数据管理 视觉-语言-动作
📋 核心要点
- 现有影响函数在亿参数VLA模型中的计算效率低，限制了其在多任务学习中的应用。
- ATHENA通过利用克罗内克结构和随机截断近似，显著提升影响函数计算速度，适用于大规模数据管理。
- 实验结果表明，ATHENA在使用较少示范的情况下，能够达到或超过全数据微调的性能，验证了其有效性。
📝 摘要（中文）
在机器人模仿学习中，影响函数为量化每个示范对机器人任务结果的影响提供了原则性的方法。然而，现有方法在亿参数的视觉-语言-动作（VLA）模型中受限于计算和多任务瓶颈。为此，本文提出了ATHENA，一个针对亿参数规模的多任务VLA数据管理的影响函数框架。具体而言，ATHENA利用线性层梯度的克罗内克结构来降低投影成本，并通过秩-r随机截断近似来近似稠密Hessian逆，影响计算速度提升约313.4倍。此外，ATHENA还制定了全局和局部交互影响，以平衡50个联合训练任务的数据管理。对RoboTwin 2.0和真实机器人部署的广泛评估表明，ATHENA在模拟中仅使用50%的示范，且在六个真实机器人任务中使用66.7%的数据，均能匹配或超越全数据联合微调的效果。
🔬 方法详解
问题定义：本文旨在解决在亿参数视觉-语言-动作（VLA）模型中，影响函数计算效率低下的问题。现有方法在处理多任务学习时面临计算和多任务瓶颈，限制了其应用。
核心思路：ATHENA框架通过利用线性层梯度的克罗内克结构来降低投影成本，并采用秩-r随机截断近似来加速Hessian逆的计算，从而提升影响函数的计算速度。
技术框架：ATHENA的整体架构包括影响函数计算模块、数据管理模块和任务平衡模块。影响函数计算模块负责高效计算每个示范的影响，数据管理模块用于选择和优化示范数据，而任务平衡模块则确保在多个任务之间合理分配数据。
关键创新：ATHENA的主要创新在于其结合了克罗内克结构和随机截断近似，显著提高了影响函数的计算效率，尤其是在处理亿参数模型时，与传统方法相比具有本质的速度优势。
关键设计：ATHENA在参数设置上采用了适应性调整策略，以优化计算效率，并在损失函数设计中引入了全局和局部交互影响的概念，以提升多任务学习的效果。整体网络结构经过精心设计，以确保在高维数据环境下的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
ATHENA在RoboTwin 2.0和真实机器人部署中的实验结果显示，使用50%的示范数据，影响计算速度提升约313.4倍，且在六个真实机器人任务中，使用66.7%的数据仍能匹配或超越全数据联合微调的效果，验证了其优越性。
🎯 应用场景
ATHENA的研究成果在机器人模仿学习、自动化数据管理和多任务学习等领域具有广泛的应用潜力。通过提升影响函数的计算效率，ATHENA能够帮助机器人更好地理解和学习复杂任务，从而在实际应用中提高机器人系统的智能化水平和适应能力。未来，ATHENA的框架还可以扩展到其他需要高效数据管理的AI领域。
📄 摘要（原文）
In robot imitation learning, influence functions provide a principled approach to quantify each demonstration's effect on robot task outcomes, yet scaling them to billion-parameter Vision-Language-Action (VLA) models is limited by computational and multitask bottlenecks. To this end, we propose ATHENA, an influence function framework tailored for multitask VLA data curation at a billion-parameter scale. Concretely, it leverages the Kronecker structure of linear-layer gradients to reduce projection cost, and approximates dense Hessian inversion with a rank-r Random Truncated Approximation, achieving about a 313.4x speedup in influence computation. Furthermore, ATHENA formulates global and local interactive influence to balance data curation across 50 jointly trained tasks. Extensive evaluations on RoboTwin 2.0 and real-robot deployment, covering 9.34 and 6.90 hours of demonstrations, respectively, show that ATHENA matches or exceeds full-data joint fine-tuning using only 50% of demonstrations in simulation and 66.7% of data across six real-robot tasks. Overall, ATHENA demonstrates its effectiveness for data curation in billion-parameter multitask VLA fine-tuning.