In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

📄 arXiv: 2606.26981v1 📥 PDF

作者: Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

分类: cs.RO, cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出ICMPG框架以解决人类动作合成中的语义与物理现实性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类动作合成 大型语言模型 模型预测控制 物理仿真 语义对齐 闭环生成 开放词汇指令

📋 核心要点

  1. 现有方法在合成人类动作时面临语义与物理现实性之间的权衡，导致生成的动作不够真实。
  2. 本文提出的ICMPG框架通过结合语言模型规划与物理反馈，重新定义了动作合成过程，提升了生成效果。
  3. 实验结果显示，ICMPG在标准和零样本开放词汇设置下，生成的动作在物理可信度和语义忠实性上均优于基线方法。

📝 摘要（中文）

合成基于文本描述的人类动作对于沉浸式数字应用至关重要，但现有方法在语义忠实性与物理现实性之间存在持续的权衡。基于大型语言模型（LLM）的方法能够解释多样的开放词汇指令并构建高层次的行动计划，但常常生成违反物理约束的动作。为了解决这一问题，本文提出了上下文模型预测生成（ICMPG）框架，该框架将语言模型规划与推理时的物理反馈相结合。ICMPG将动作合成重新表述为类似模型预测控制（MPC）的过程，包含两个模块：上下文感知动作生成（CAMG）模块和模型预测生成（MPG）模块。实验表明，ICMPG在多种命令下具有良好的泛化能力，生成的动作在物理上更具可信度且语义上更为忠实。

🔬 方法详解

问题定义：本文旨在解决现有基于文本的人类动作合成方法在语义忠实性与物理现实性之间的矛盾，现有方法往往无法同时满足这两者的要求。

核心思路：ICMPG框架通过将语言模型的规划能力与物理反馈相结合，采用闭环生成方式，能够在生成过程中实时调整动作以符合输入语义和物理环境。

技术框架：ICMPG框架包含两个主要模块：上下文感知动作生成（CAMG）模块负责将文本指令分解并生成候选动作序列；模型预测生成（MPG）模块则通过物理仿真和语义对齐评估候选动作，选择最佳序列进行后续生成。

关键创新：ICMPG的闭环生成机制是其核心创新，与传统的开放式生成方法相比，能够更好地适应复杂的语义指令和物理约束。

关键设计：在设计上，ICMPG使用大型语言模型作为规划器，结合物理仿真来评估动作序列的可行性，并通过复合奖励机制来优化生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ICMPG在多个基准测试中生成的动作在物理上更为可信，语义上更为忠实，相较于代表性基线方法，提升幅度显著。具体而言，ICMPG在零样本开放词汇设置下的表现优于现有技术，展示了其良好的泛化能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、游戏开发和人机交互等领域。通过实现更自然和真实的人类动作合成，ICMPG能够提升用户体验，推动沉浸式数字应用的发展。未来，该框架还可以扩展到其他领域，如机器人控制和动画生成，具有重要的实际价值。

📄 摘要（原文）

Synthesizing human motion from textual descriptions is essential for immersive digital applications, yet existing methods face a persistent trade-off between semantic fidelity and physical realism. Large language model (LLM)-based approaches can interpret diverse open-vocabulary instructions and compose high-level action plans, but they often generate motions that violate physical constraints. Physics-aware models improve realism through simulation or control, but they struggle with semantic complexity, fine-grained instructions, and novel concepts. To address this gap, we propose In-Context Model Predictive Generation (ICMPG), a framework that integrates language-model planning with inference-time physical feedback. ICMPG reformulates motion synthesis as a Model Predictive Control (MPC)-like process with two modules. The Context-Aware Motion Generation (CAMG) module uses an LLM as a planner to decompose textual commands and generate candidate motion sequences from motion tokens. The Model Predictive Generation (MPG) module evaluates these candidates through physical simulation and semantic alignment, estimates a composite reward, and selects the best sequence to guide subsequent generation steps. Unlike open-loop generation, this closed-loop refinement enables ICMPG to adapt motions to both the input semantics and the simulated physical environment without task-specific policy retraining. Extensive experiments across standard and zero-shot open-vocabulary settings show that ICMPG generalizes robustly to diverse commands and produces motions that are more physically plausible and semantically faithful than representative baselines on the evaluated benchmarks. The framework bridges semantic interpretation and physical simulation while remaining flexible enough to incorporate different LLM backbones, enabling more versatile and controllable text-driven motion synthesis.