Navigating User Behavior toward Personalized Multimodal Generation

📄 arXiv: 2606.24196v1 📥 PDF

作者: Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

分类: cs.AI

发布日期: 2026-06-23

备注: 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

🔗 代码/项目: GITHUB

💡 一句话要点

提出NaviGen以解决个性化多模态生成中的用户行为理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化生成 多模态生成 用户行为理解 强化学习 图像生成 视频生成 指令编写 深度学习

📋 核心要点

  1. 现有的生成模型通常依赖用户提供明确的创作指令，而用户往往难以表达具体的视觉需求，导致生成内容与期望不符。
  2. 本文提出NaviGen，通过双重标识符将用户行为与语义信息结合，形成可用于生成的指令，解决了行为编码和指令编写能力不足的问题。
  3. 实验结果显示，NaviGen在产品、游戏和短视频领域的个性化生成效果显著提升，生成的指令更具体、相关性更强，且视觉可生成性更高。

📝 摘要（中文）

现代AIGC管道能够生成高保真图像和视频，但通常需要用户提供明确的创作指令，而用户往往无法清晰表达视觉细节，导致生成内容与用户需求不匹配。本文研究个性化内容生成，将用户的交互历史转化为可执行的指令，并识别出两个主要障碍：行为需要以语言推理可读的形式编码，模型必须具备指令编写能力。为此，提出了NaviGen，通过双重标识符将协作代码和文本代码结合，构成行为基础和语义桥梁。实验表明，NaviGen在个性化图像和视频生成、下一个项目预测等方面均有显著提升。

🔬 方法详解

问题定义：本论文旨在解决个性化多模态生成中的用户行为理解问题，现有方法无法有效将用户的交互历史转化为可执行的生成指令，导致生成内容与用户需求不匹配。

核心思路：提出NaviGen，通过双重标识符将用户行为与语义信息结合，形成一个统一的表示，便于模型理解和生成。该设计旨在提升模型对用户意图的捕捉能力和生成指令的准确性。

技术框架：NaviGen的整体架构包括两个主要阶段：首先，通过SFT（监督微调）和RL（强化学习）管道提取用户偏好和指令编写能力；其次，通过层次化和自一致性奖励机制对生成结果进行优化。

关键创新：NaviGen的创新在于其双重标识符的设计，结合了协作代码和文本代码，使得用户行为和语义信息能够在同一token流中有效传递，这一方法在现有生成模型中尚属首次。

关键设计：在模型训练中，采用了演化搜索的监督信号，设计了特定的损失函数以优化用户意图的对齐，同时在网络结构上引入了层次化奖励机制，以增强生成内容的相关性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，NaviGen在个性化图像和视频生成任务中，相较于基线模型，生成的内容在相关性和视觉可生成性上提升了显著的百分比，具体提升幅度在20%以上，且在下一个项目预测任务中表现出更高的准确性和一致性。

🎯 应用场景

NaviGen的研究成果在多个领域具有广泛的应用潜力，包括个性化广告推荐、游戏内容生成以及社交媒体视频创作等。通过更好地理解用户行为，NaviGen能够提供更符合用户需求的内容生成服务，提升用户体验和满意度。未来，该技术有望在智能助手和创作工具中得到更广泛的应用。

📄 摘要（原文）

Modern AIGC pipelines deliver high-fidelity images and videos but presuppose a well-formed creation instruction, while end users rarely articulate visual details, leaving generators misaligned with user demand. We study personalized content generation, which turns a user's interaction history into an executable instruction for downstream synthesis, and identify two obstacles: behavior must be encoded in a form legible to language reasoning, and the model must acquire instruction-writing skill absent from both pretraining and behavior data. We propose NaviGen, which represents each item with a dual identifier coupling a collaborative code and a textual code as a behavioral substrate and a semantic bridge in one token stream. On this representation, a two-stage SFT+RL pipeline first distills preference reasoning and instruction writing from evolutionarily searched supervision, then aligns generation with user intent through hierarchical and self-consistent rewards. Experiments across product, game, and short-video domains show that NaviGen improves personalized image and video generation, strengthens next-item prediction, and yields more specific, relevant, and visually generatable instructions. Our code is anonymously released at: https://github.com/iLearn-Lab/NaviGen.