Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents
作者: Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo
分类: cs.PL, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出功能缓存嫁接以解决代码策略生成的延迟与鲁棒性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码生成 具身智能体 策略合成 功能缓存 机器学习
📋 核心要点
- 现有的代码生成方法在开放域环境中面临解码延迟和鲁棒性不足的问题，影响了策略的有效性。
- 本文提出的FCGraft框架通过维护函数级代码骨架和提示级KV缓存，实现了快速且鲁棒的策略合成。
- 实验结果表明，FCGraft在任务成功率上提高了18.31%，策略合成速度提升了2.3倍，显著优于现有方法。
📝 摘要（中文）
代码生成大型语言模型（CodeLLMs）通过将自然语言目标和环境约束转化为结构化控制程序，为具身智能体生成可执行代码策略。然而，在开放域环境中，策略生成面临两个基本限制：一是由于长提示的重复预填计算导致的解码延迟，二是完全生成解码的鲁棒性不足，常常产生API不匹配、缺失安全保护和不稳定控制逻辑。为了解决这些问题，本文提出了功能缓存嫁接（FCGraft）框架，该框架维护了一套经过验证的函数级代码骨架库及其相关的提示级Transformer键值缓存，并通过检索相关函数和嫁接其KV缓存来合成新策略。通过消除冗余的预填计算，该方法降低了生成延迟，同时重用经过验证的控制结构提高了鲁棒性。
🔬 方法详解
问题定义：本文旨在解决在开放域环境中，代码策略生成的延迟和鲁棒性不足的问题。现有方法在处理长提示时存在重复计算，导致解码延迟，同时生成的代码常常不够稳定，存在API不匹配等问题。
核心思路：FCGraft框架通过维护经过验证的函数级代码骨架和其对应的KV缓存，能够在接收到新任务时快速检索相关函数并嫁接其缓存，从而减少冗余计算并提高生成策略的鲁棒性。
技术框架：FCGraft的整体架构包括函数库、KV缓存和策略合成模块。首先，从函数库中检索相关的代码骨架，然后通过缓存嫁接技术将这些骨架组合成新的策略，最后进行局部适配以满足特定任务的参数和约束。
关键创新：FCGraft的主要创新在于其缓存嫁接技术，通过拼接和修补的方式，能够在保持生成效率的同时，提升策略的鲁棒性。这一方法与传统的完全生成解码方法有本质区别，后者往往缺乏对已有结构的有效利用。
关键设计：FCGraft在设计上注重减少冗余计算，采用了函数级的验证机制以确保代码的可靠性，并通过局部适配策略来优化生成的代码，确保其符合任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FCGraft在任务成功率上提高了18.31%，并且策略合成速度提升了2.3倍，显著优于对比基线RAGCache。这表明FCGraft在解决策略生成中的延迟和鲁棒性问题上具有显著优势。
🎯 应用场景
FCGraft框架在具身智能体的控制策略生成中具有广泛的应用潜力，特别是在机器人、自动驾驶和智能家居等领域。通过提高策略生成的速度和鲁棒性，该研究能够推动智能体在复杂环境中的自主决策能力，提升其实际应用价值。
📄 摘要（原文）
Code-writing large language models (CodeLLMs) generate executable code policies for embodied agents by translating natural language goals and environmental constraints into structured control programs. However, policy generation in open-domain embodied environments suffers from two fundamental limitations: (i) delayed decoding caused by repetitive prefill computation over long prompts, and (ii) limited robustness due to fully generative decoding, which often produces API mismatches, missing safety guards, and unstable control logic. To address these limitations, we present FCGraft, a Functional Cache Grafting framework. FCGraft maintains a library of function-level validated code skeletons and their associated prompt-level Transformer key-value (KV) caches, and synthesizes new policies by retrieving relevant functions and grafting their KV caches when a new task is provided. Given retrieved function caches, FCGraft performs cache grafting via stitching, which composes cached function segments into a composite policy, and patching, which locally adapts only the necessary code regions to satisfy task-specific parameters and constraints with minimal additional decoding. By eliminating redundant prefill computation, this approach reduces generation latency, while reusing validated control structures improves robustness over prompt-level caching methods RAGCache, achieving 18.31% higher task success rate and 2.3x faster policy synthesis.