Do Transaction Prices Reflect Visual Preference? A Diagnostic Study with Multimodal Language Models

📄 arXiv: 2610.41358v1 📥 PDF

作者: Fengxian Ji, Jingpu Yang, Fan Zhang, Junhong Liang, Qian Jiang, Yuke Li, Jinri Guo, Rongxin Zhu, Zhuohan Xie

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出MarketImage框架以解决交易价格与视觉偏好识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉偏好 交易价格 多模态模型 市场分析 人类标注

📋 核心要点

  1. 现有方法依赖昂贵的人类标注，难以准确评估视觉偏好与交易价格之间的关系。
  2. 提出MarketImage框架，通过三个组件识别交易价格与视觉偏好的关联性及其局限性。
  3. 实验显示，仅24.2%的图像对有明确价格方向，其中66.4%的可恢复准确率由HPSv2模型实现。

📝 摘要（中文）

现有的视觉偏好评估依赖于昂贵的人类标注或偏好奖励模型，而在线市场交易价格则反映真实的购买行为，提供了低成本的监督潜力。然而，交易价格混合了视觉偏好与非视觉因素，导致模型错误和不可靠价格信号难以区分。为了解决这一可识别性挑战，本文提出了MarketImage框架，旨在识别交易价格何时反映视觉偏好及其失败的原因，并评估多模态语言模型是否能够恢复人类支持的视觉偏好信号。实验结果表明，只有24.2%的图像对具有非平局价格方向，其中34.7%与人类多数意见一致。

🔬 方法详解

问题定义：本文旨在解决交易价格是否能有效反映视觉偏好的问题。现有方法在区分视觉偏好与非视觉因素（如来源、需求和竞争）时存在不足，导致模型错误和不可靠价格信号难以识别。

核心思路：通过引入MarketImage框架，结合交易价格与人类标注，识别何时交易价格能够反映视觉偏好，以及在何种情况下会失效。该框架的设计旨在提供一种低成本的监督方式，利用市场数据进行视觉偏好分析。

技术框架：MarketImage框架由三个主要组件组成：MarketImageArt提供266组六图比较集及其交易价格和人类排名；MarketImageLens通过分区分析3,990对图像，审计价格与人类意见的一致性；MarketValuator则采用六种方法评估视觉评分者和多模态语言模型的信号恢复能力。

关键创新：最重要的创新在于通过MarketImage框架系统性地分析交易价格与视觉偏好的关系，明确了交易价格在不同条件下的可恢复性，提供了新的评估标准。与现有方法相比，该框架能够更好地处理价格信号的不确定性。

关键设计：在MarketImageLens中，采用了保持平局的协议来划分图像对，并单独审计展示顺序的影响；MarketValuator则结合了直接比较、独立评分、预算约束和多代理聚合等多种方法，以全面评估信号恢复效果。实验中使用的模型包括HPSv2和其他多模态语言模型，确保了结果的可靠性和可比性。

📊 实验亮点

实验结果显示，仅24.2%的图像对具有非平局价格方向，其中34.7%与人类多数意见一致。HPSv2模型在可恢复准确率上表现最佳，达到66.4%。其他模型的表现则未能显著超越基线，表明交易价格在特定条件下才能有效反映视觉偏好。

🎯 应用场景

该研究的潜在应用领域包括在线市场分析、产品推荐系统和用户行为研究。通过更准确地理解交易价格与视觉偏好的关系，商家可以优化产品展示和定价策略，从而提升销售效率。此外，该框架也为未来的多模态学习研究提供了新的思路和方法论。

📄 摘要（原文）

Existing visual preference evaluation relies on costly human annotations or preference reward models, whereas online marketplace transaction prices are readily available and reflect real purchasing behavior, offering potential low-cost supervision. However, transaction prices conflate visual preferences with non-visual factors such as provenance, demand, and competition, making aggregate accuracy insufficient to distinguish model errors, unreliable price signals, and protocol confounds. To address this identifiability challenge, we introduce MarketImage, a diagnostic framework that identifies when transaction prices reflect visual preferences, where they fail, and whether multimodal language models can recover human-supported visual preference signals. MarketImage comprises three components: (i) MarketImageArt, 266 six-image comparison sets with transaction prices and price-blind human rankings; (ii) MarketImageLens, a tie-preserving protocol that partitions 3,990 within-set image pairs into price-human agreement, conflict, and price-tie regions while separately auditing presentation-order effects; and (iii) MarketValuator, six elicitation methods spanning direct comparison, independent scoring, budget constraints, and multi-agent aggregation to evaluate signal recovery by static visual scorers and three multimodal language models. Experiments show that only 24.2% of image pairs have a non-tied price direction, of which 34.7% agree with the human majority. Within this region, HPSv2 leads at 66.4% Recoverable Accuracy; Qwen's budgeted and aggregated variants trail baselines, while GPT interface gains remain statistically unresolved. Thus, transaction prices encode recoverable visual preferences only under limited conditions and should be treated as uncertain proxies rather than ground truth.