Lot Machine: Multimodal Lot Extraction from Auction Catalogs
作者: Mathias Zinnen, Alisha Mund, Sabine Lang, Lukas Hüttner, Thomas Gorges, Vincent Christlein
分类: cs.CV, cs.AI, cs.CL, cs.DL
发布日期: 2026-08-31
备注: Accepted at the VISART Workshop (Computer Vision for Art Analysis), ECCV 2026. 19 pages, 6 figures, 5 tables. Supplementary material included as an appendix. Code, benchmark data, and prompt templates: https://github.com/mathiaszinnen/auction-lot-extraction
💡 一句话要点
提出多模态管道以自动提取拍卖目录中的结构化信息
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态提取 拍卖目录 视觉语言模型 数据隐私 结构化信息 历史数据分析 自动化处理
📋 核心要点
- 现有拍卖目录的内部格式高度不一致，缺乏机器可读的表示，限制了其大规模分析的可能性。
- 本文提出了一种自动提取拍卖级元数据的管道，利用视觉语言模型（VLMs）进行分析和评估。
- 实验结果显示，商业端点性能最佳，而本地部署在确保输出结构的情况下也能实现有效的结果。
📝 摘要（中文）
拍卖目录是追踪特定物品在时间和空间中变迁的重要资源，但其内部格式高度不一致，缺乏机器可读的拍卖信息表示，限制了大规模分析。本文提出了一种管道，自动从19世纪和20世纪的历史拍卖和销售目录中提取结构化的拍卖级元数据。通过对代表性目录页面的手动标注测试集进行评估，比较了不同提示策略和约束解码框架下的视觉语言模型（VLMs）。研究表明，商业端点性能最佳，而本地部署在确保输出结构的情况下也具备可行性，尽管仍需一定程度的人机协作修正。该工作展示了基于VLM的管道能够成功解锁历史拍卖目录，实现大规模自动化分析。
🔬 方法详解
问题定义：本文旨在解决历史拍卖目录中缺乏机器可读信息的问题，现有方法在处理这些目录时面临格式不一致和数据隐私等挑战。
核心思路：通过构建一个基于视觉语言模型的自动化管道，提取结构化的拍卖级元数据，以便于大规模分析和研究。
技术框架：该方法包括数据预处理、模型训练、结果生成和后处理等主要模块，利用手动标注的测试集进行评估。
关键创新：本研究的创新点在于结合视觉和语言模型，针对拍卖目录的特殊格式设计了适应性强的提取管道，显著提高了信息提取的准确性和效率。
关键设计：在模型训练中，采用了多种提示策略和约束解码框架，同时在本地部署时严格要求输出结构为有效的JSON格式，以确保数据的可用性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，商业端点在性能上达到了最高水平，而本地部署在确保输出结构的情况下也能实现有效的信息提取。具体而言，商业模型在准确性和效率上均优于其他方法，展示了VLM在处理历史数据中的潜力。
🎯 应用场景
该研究的潜在应用领域包括文化遗产保护、艺术市场研究和历史数据分析等。通过自动化提取拍卖目录中的信息，可以大幅提升研究效率，降低人工成本，并为相关领域的学术研究提供更为丰富的数据支持。
📄 摘要（原文）
For provenance research and art market studies, auction catalogs are an essential resource to trace specific objects over time and space. While historical auction catalogs follow established domain conventions, their internal formatting remains highly variable, and their large-scale analysis is currently restricted by the lack of machine-readable representations of the auction lots. We propose a pipeline to automatically extract structured lot-level metadata from German Sales, a large database of historical auction and sales catalogs from the 19th and 20th centuries. Using a manually annotated test set of representative catalog pages, we evaluate Vision-Language Models (VLMs) under varying prompt strategies and constrained decoding frameworks. To reflect the practical constraints faced by cultural heritage institutions, including budget, compute resources, and data privacy requirements, we benchmark the methods across different deployment modes ranging from commercial providers to locally hosted, quantized models. We find that commercial endpoints establish the performance ceiling, while institutional gateways offer a viable, privacy-preserving alternative. Local deployments remain feasible, but strictly require enforcing the output structure during generation to guarantee a valid JSON format. While varying degrees of human-in-the-loop correction are still necessary, this work demonstrates that a VLM-based pipeline can successfully unlock historical auction catalogs for large-scale automated analysis.