MemeMind: Reference-Guided Trace Construction for Offline Context Optimization
作者: Run Yang, Weihang Wang, Boheng Sheng, Yuchen He, Jielei Zhang, Pengyu Chen, Zhiyu Wu, Qiang Sun, Huyang Sun, Longwen Gao
分类: cs.CV
发布日期: 2026-08-10
备注: 24 pages, 16 figures, 8 tables
💡 一句话要点
提出MemeMind以解决离线上下文优化中的失败回滚问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 离线上下文优化 工具使用轨迹 视觉检索 文本搜索 多模态学习
📋 核心要点
- 现有的离线上下文优化方法在处理失败回滚时缺乏有效的成功示例，导致优化效果不佳。
- MemeMind通过引入离线参考答案，利用TraceBuilder和ToolGuide模块构建成功的工具使用轨迹，从而弥补失败回滚的经验缺失。
- 在MemeX基准测试中，MemeMind在两个Qwen3-VL模型上分别提升了22.0%和21.1%的性能，显示出显著的优化效果。
📝 摘要（中文）
离线上下文优化通过修订指令和示例来提升智能体性能，但在某些情况下，查询仅产生失败的回滚，导致优化器无法获取成功示例。本文提出MemeMind，利用离线参考答案恢复缺失经验。TraceBuilder识别参考所需证据，执行文本搜索、图像检索和视觉定位，并在将工具轨迹添加到适应缓冲区之前进行验证。ToolGuide则将收集的轨迹总结为共享指南和各工具的单独指令。参考答案和构建的轨迹仅在适应过程中使用，而推理时则使用冻结模型的学习指南。我们在Anime、Comic和Game的表情包解释中评估MemeMind，结果显示其在MemeX基准测试中显著提升了上下文优化的效果。
🔬 方法详解
问题定义：本文旨在解决离线上下文优化中因失败回滚而缺乏成功示例的问题。现有方法在面对复杂查询时，往往无法提供有效的工具使用示例，导致优化效果受限。
核心思路：MemeMind的核心思路是利用离线参考答案来恢复缺失的经验，通过TraceBuilder和ToolGuide模块构建成功的工具使用轨迹，从而提升优化效果。
技术框架：MemeMind的整体架构包括TraceBuilder和ToolGuide两个主要模块。TraceBuilder负责识别和验证参考所需的证据，并执行文本搜索和图像检索；ToolGuide则将收集的轨迹总结为共享指南和各工具的单独指令。
关键创新：MemeMind的关键创新在于通过构建成功的工具使用轨迹来弥补失败回滚的经验缺失，这一方法与现有的上下文优化方法本质上不同，后者通常依赖于已有的成功示例。
关键设计：在设计上，TraceBuilder执行文本搜索和图像检索，并在添加轨迹到适应缓冲区之前进行验证。ToolGuide则负责将轨迹总结为有效的使用指南，确保在推理阶段能够有效利用这些信息。具体的参数设置和损失函数等细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在MemeX基准测试中，MemeMind在两个Qwen3-VL模型上分别提升了22.0%和21.1%的性能，相较于最强的上下文优化基线表现出显著的优势。此外，实验结果表明，构建成功的工具使用轨迹是提升性能的关键因素。
🎯 应用场景
MemeMind的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理复杂视觉内容和文本信息的任务中，如社交媒体内容分析、游戏设计和文化研究等。通过提升智能体对复杂表情包的理解能力，MemeMind能够为相关领域提供更高效的工具和方法，推动智能体的实际应用和发展。
📄 摘要（原文）
Offline context optimization improves an agent by revising its instructions and examples while keeping the model frozen. This approach learns from rollouts on an adaptation set, but some queries produce only failed rollouts. In these cases, the optimizer sees no successful example of how the available tools can reach the correct answer. We introduce MemeMind, which uses an offline reference answer to recover this missing experience. TraceBuilder identifies the evidence required by the reference, executes text search, image retrieval, and visual grounding, and verifies the resulting tool trace before adding it to the adaptation buffer. ToolGuide then summarizes the collected traces into a shared guide and separate instructions for each tool. The reference answers and constructed traces are used only during adaptation, while inference uses the learned guides with a frozen model. We study this problem through Anime, Comic, and Game meme interpretation. These memes combine edited and ambiguous visual content, overlaid text, long tail franchise knowledge, and culture specific references. Their interpretation can require coordinated visual grounding, image retrieval, and text search, making them a demanding setting in which native rollout groups may fail together. We evaluate MemeMind on MemeX, a benchmark of 1,000 such memes annotated by experts. Across two Qwen3-VL models, two language partitions, and two independent judges, MemeMind improves over the strongest context optimization baseline by 22.0% and 21.1% on Qwen3-VL-30B-A3B, and by 8.1% and 8.0% on Qwen3-VL-235B-A22B under GPT-5 judging. Ablations and held out traces show that constructing successful tool use for failed groups provides the largest component gain and produces more effective evidence acquisition at inference time.