TailorMind: Towards Preference-Aligned Multimodal Content Generation

📄 arXiv: 2606.23643v1 📥 PDF

作者: Hengji Zhou, Ye Liu, Yufeng Liu, Si Wu, Lianghao Xia, Liqiang Nie

分类: cs.AI

发布日期: 2026-06-22

备注: 18 pages, 13 figures, 6 tables. Code available at https://github.com/iLearn-Lab/TailorMind

🔗 代码/项目: GITHUB

💡 一句话要点

提出TailorMind以解决个性化多模态内容生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化内容生成 多模态生成 用户偏好建模 超图协同过滤 风格控制 语义一致性 内容推荐

📋 核心要点

  1. 现有个性化内容生成系统依赖UGC，缺乏合适内容时面临生成困难。
  2. TailorMind通过协同偏好建模与可控多模态生成相结合，解决了内容生成的实时性问题。
  3. 实验结果显示TailorMind在连贯性、创新性和美学质量上超越了多个基线，提升效果显著。

📝 摘要（中文）

个性化内容系统依赖于用户生成内容（UGC），在缺乏合适内容时面临挑战。尽管多模态生成器能够按需合成内容，但如何将行为轨迹转化为生成所需的偏好仍未得到充分探索。本文研究个性化多模态内容生成，提出TailorMind，通过超图协同过滤丰富用户历史，并利用排名误差反馈和文本梯度下降优化文本档案。检索增强的风格控制使输出符合真实UGC模式，而跨模态一致性反映减少语义漂移。实验表明，TailorMind在连贯性、创新性和美学质量上优于代表性生成基线和真实UGC，且在重新排序中实现了高达29%的召回率提升。

🔬 方法详解

问题定义：本文旨在解决个性化多模态内容生成中的内容缺乏问题，现有方法在没有UGC或合适内容时表现不佳，难以满足用户需求。

核心思路：TailorMind通过将用户行为轨迹转化为生成偏好，结合协同过滤和可控生成技术，旨在实时生成符合用户偏好的内容。

技术框架：TailorMind的整体架构包括超图协同过滤模块、文本档案优化模块和风格控制模块。超图协同过滤用于丰富用户历史，文本档案优化通过反馈机制提升生成质量，风格控制确保输出符合真实UGC模式。

关键创新：TailorMind的创新在于将协同偏好建模与多模态生成相结合，利用超图结构有效捕捉用户偏好，并通过跨模态一致性反映减少语义漂移，显著提升生成内容的质量。

关键设计：在设计中，采用了排名误差反馈机制和文本梯度下降方法来优化文本档案，确保生成内容的连贯性和美学质量，同时设置了特定的损失函数以平衡生成的多样性与一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TailorMind在连贯性、创新性和美学质量上均优于多个基线，特别是在重新排序任务中实现了高达29%的召回率提升，显示出其在个性化内容生成中的显著优势。

🎯 应用场景

TailorMind的研究成果可广泛应用于个性化推荐系统、社交媒体内容生成和在线教育等领域。其实时生成用户偏好的能力将提升用户体验，推动内容创作的自动化与智能化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Personalized content systems depend on available UGC and struggle when suitable content is absent, delayed, or costly to create. Although multimodal generators can synthesize content on demand, how to translate behavioral traces into generation-ready preferences remains underexplored. We study personalized multimodal content generation: creating user-tailored multimodal content without existing item pools or waiting for matching UGC. We propose TailorMind, linking collaborative preference modeling with controllable multimodal generation. TailorMind enriches sparse user histories via hypergraph collaborative filtering and optimizes textual profiles with ranking-error feedback and textual gradient descent. Retrieval-augmented style control grounds outputs in authentic UGC patterns, while cross-modal cohesion reflection reduces semantic drift. We construct TailorBench, a benchmark from three mainstream platforms evaluated along five dimensions: coherence, novelty, aesthetic, hallucination, profiling. Experiments show that TailorMind achieves competitive or stronger coherence, improves novelty and aesthetic quality over representative generation baselines and ground-truth UGC, demonstrating advantages over retrieving available content or comparable UGC, while achieving up to 29% Recall gains in reranking. Our code is released at: https://github.com/iLearn-Lab/TailorMind.