Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
作者: Bertram Taetz, Hugo Albuquerque Cosme da Silva, Gabriele Bleser-Taetz
分类: cs.LG, cs.AI
发布日期: 2026-06-29
备注: 16 pages, 1 figure, Accepted at the Conference on Lifelong Learning Agents (CoLLAs) 2026
💡 一句话要点
提出LoRA变体以解决持续运动语言理解与生成问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 运动语言理解 生成模型 持续学习 低秩适应 混合专家 动态环境 人机交互
📋 核心要点
- 现有方法在动态环境中难以持续学习新运动概念，容易导致灾难性遗忘。
- 提出基于LoRA的混合专家架构，通过自编码器路由选择任务特定专家，避免任务标签需求。
- 实验表明，硬专家选择显著优于软专家混合，几乎无遗忘且生成质量高，强调专家隔离的重要性。
📝 摘要（中文）
运动语言代理需要具备双向能力，既能理解人类运动（运动到文本，M2T），又能从自然语言生成运动（文本到运动，T2M）。尽管基础模型在静态环境中表现良好，但在动态环境中，代理必须不断融入新的运动概念，而不遗忘之前获得的技能。本文研究了在顺序任务暴露下双向运动语言学习中的稳定性-可塑性权衡，提出了低秩适应（LoRA）变体，以减轻任务间干扰。通过建立可重复的五任务基准，实验结果显示在M2T和T2M方向上几乎没有遗忘，同时保持高质量的生成和描述。
🔬 方法详解
问题定义：本文旨在解决运动语言代理在动态环境中持续学习新运动概念时的灾难性遗忘问题。现有方法在面对新任务时，往往无法有效保留之前学习的技能，导致性能下降。
核心思路：提出低秩适应（LoRA）变体，结合混合专家架构，通过自编码器路由选择任务特定专家，从而在不需要任务标签的情况下，减轻任务间的干扰。
技术框架：整体架构基于一个冻结的大型语言模型，包含低秩适应模块和混合专家选择机制。通过对运动描述进行语义聚类，建立了五任务基准，评估模型在不同任务间的表现。
关键创新：最重要的技术创新在于引入了混合专家架构和自编码器路由选择机制，显著提升了任务间的隔离性，避免了传统方法中常见的性能下降问题。
关键设计：在模型设计中，采用了低秩适应技术，优化了参数设置，并通过严格的损失函数设计，确保了生成和描述的高质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在M2T和T2M方向上几乎没有遗忘，生成和描述质量保持高水平。硬专家选择在质量指标上显著优于软专家混合，表明专家隔离对持续学习性能的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、虚拟现实和增强现实等场景，能够使代理在复杂环境中更好地理解和生成运动，提升人机交互的自然性和流畅性。未来，随着运动语言代理的不断发展，可能会在教育、娱乐等多个领域产生深远影响。
📄 摘要（原文）
Motion-language agents must possess the bidirectional capability to both understand human movement (motion-to-text, M2T) and generate it from natural language (text-to-motion, T2M). While foundational models have achieved strong performance in static settings, autonomous agents operating in dynamic environments must continuously incorporate new motion concepts -- such as novel athletic styles or specialized gestures -- without catastrophic forgetting of previously acquired skills. We investigate the stability-plasticity trade-off in bidirectional motion-language learning under sequential task exposure. Building on a frozen large language model backbone, we introduce low-rank adaptation (LoRA) variants designed to mitigate inter-task interference. We specifically propose mixture-of-experts architectures that utilize an autoencoder-based router to select task-specific experts at inference time, so that no task-label is needed. To evaluate these methods, we establish a reproducible five-task benchmark derived from HumanML3D through semantic clustering of motion descriptions. Our experimental results demonstrate near-zero forgetting across both M2T and T2M directions while maintaining high generation and captioning quality. Furthermore, we show that hard expert selection via routing significantly outperforms soft expert blending in quality metrics, indicating that preserving expert isolation is critical for maintaining performance in our continual learning setting. Finally, we observe that a divergence between token-level accuracy and downstream generation quality may occur, highlighting the need for more comprehensive evaluation protocols in future research on lifelong motion-language agents.