GEAR: Generative Editing for Scene-Conditioned Outfit Retrieval for VR Travel
作者: Gia-Huy Dinh, Thinh-Phuc Nguyen, Thanh-Hai Nguyen, Lam-Huy Nguyen-Ngoc, Hoang-Bach Nguyen-Phan, Nam-Quan Nguyen, Minh-Triet Tran, Trung-Nghia Le
分类: cs.CV
发布日期: 2026-11-02
💡 一句话要点
提出GEAR以解决虚拟环境中服装检索的场景适配问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 虚拟现实 服装检索 生成模型 视觉-语言模型 用户体验 交互设计
📋 核心要点
- 现有方法在虚拟环境中难以实现服装与场景的视觉和谐，导致用户体验不佳。
- GEAR框架通过生成中间视觉查询，结合视觉-语言模型和扩散模型，实现了场景条件下的服装检索。
- 在控制数据集上，GEAR在多项评估中表现优异，用户研究显示其在视觉吸引力和上下文适合性方面获得最高偏好。
📝 摘要（中文）
在虚拟环境中，选择合适的服装需要与周围场景保持上下文和谐，但在3D环境中将视觉差距弥合仍然具有挑战性。本文研究了基于场景的服装检索，提出了GEAR（生成编辑用于资产检索）框架，通过合成中间视觉查询来弥合跨域差距。GEAR利用视觉-语言模型描述捕获场景中的适合服装，采用指导性扩散模型将概念渲染到标准化角色上，并通过嵌入相似性检索现有的2D服装资产。实验表明，GEAR在多个评估指标上表现出色，用户研究显示其在视觉吸引力和上下文适合性方面获得了最高的参与者偏好。
🔬 方法详解
问题定义：本文旨在解决虚拟环境中服装选择与周围场景之间的视觉和谐问题。现有方法通常依赖直接的视觉相似性，难以有效捕捉场景上下文信息。
核心思路：GEAR框架的核心思路是通过生成中间视觉查询，而非直接预测服装的兼容性，从而更好地理解用户的视角和场景特征。
技术框架：GEAR的整体架构包括三个主要模块：首先，使用视觉-语言模型描述场景中的适合服装；其次，采用指导性扩散模型将服装概念渲染到标准化角色上；最后，通过嵌入相似性检索现有的2D服装资产。
关键创新：GEAR的主要创新在于其生成中间视觉查询的能力，这一方法与传统的直接视觉相似性检索方法本质上不同，能够更好地捕捉场景的上下文信息。
关键设计：在技术细节上，GEAR采用了特定的损失函数以优化生成质量，并设计了高效的网络结构，以确保在实时交互中能够快速响应用户的服装检索需求。
🖼️ 关键图片
📊 实验亮点
在实验中，GEAR在控制数据集上表现出色，平均Elo@5达到1012.75，前10重叠率为0.180，且配对一致性为0.539。此外，用户研究显示，GEAR在视觉吸引力和上下文适合性方面均获得34.5%的最高参与者偏好，展现了其优越的性能。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在虚拟现实旅行、游戏设计和在线购物等领域。通过提供更符合场景的服装选择，GEAR能够显著提升用户体验，促进虚拟环境中的沉浸感和互动性。未来，随着技术的进步，GEAR可能在个性化推荐和虚拟试衣等方面发挥更大作用。
📄 摘要（原文）
In virtual environments, choosing appropriate outfits requires contextual harmony with surrounding scenes, yet bridging the visual gap between 3D ambient views and catalog garment assets remains challenging. This paper investigates scene-conditioned outfit retrieval for interactive 3D environments, where a user's egocentric view serves as the retrieval signal. We present GEAR (Generative Editing for Asset Retrieval), a framework that bridges the cross-domain gap by synthesizing intermediate visual queries rather than predicting direct compatibility. GEAR uses a vision-language model to describe suitable clothing from a captured scene, employs an instruction-guided diffusion model to render the concept onto a standardized reference character, and utilizes the cropped clothing region to retrieve existing 2D outfit assets via embedding similarity. An interactive Unity prototype demonstrates real-time scene capture, asset retrieval, and in-engine 3D avatar fitting. We benchmark GEAR against direct visual similarity, aesthetic scoring, and VLM-based reranking on a controlled dataset using automated Swiss-system pairwise judgments, where GEAR achieves competitive top-ranked performance (mean Elo@5 of 1012.75 and top-10 overlap of 0.180) alongside 0.539 pairwise agreement. Furthermore, a user study across 20 virtual travel scenes demonstrates that GEAR achieves the highest overall participant preference in both visual appeal (34.5%) and contextual suitability (34.5%).