Web Price Extraction: State of the Art and an Adaptive Browserless Implementation
作者: Evgeniia Kositsyna, Jorge Lloret-Gazo
分类: cs.IR, cs.LG, cs.NE
发布日期: 2026-09-01
💡 一句话要点
提出自适应无浏览器价格提取系统以解决电商数据提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 价格提取 无浏览器方法 贝叶斯算法 遗传算法 电商分析 数据提取 机器学习
📋 核心要点
- 现有价格提取方法在准确性和适应性方面存在不足，尤其在结构变化时维护成本高。
- 本文提出了一种自适应的无浏览器价格提取系统，通过动态更新规则权重和优化全局参数来提高鲁棒性。
- 实验结果显示，该系统的提取精度从77.2%提升至87.3%，且每页处理时间平均减少约14%。
📝 摘要（中文）
从网站提取价格是市场监测、价格比较和电商业务分析的关键任务。现有方法可分为四类，各自的准确性和可扩展性存在权衡。传统方法依赖手动编写的包装器和从标记页面中提取规则，准确性高但适应性差，维护成本高。基于浏览器的方法能够处理动态内容，但资源消耗大且扩展性差。无浏览器方法通过HTTP请求直接获取HTML，速度快且成本低，但依赖特定网站的规则。基于机器学习和大语言模型的方法具有适应性，但需要大量训练数据和计算资源。本文的主要贡献是提出一种自适应的无浏览器价格提取系统，提高了对网站结构差异的鲁棒性。通过结合HTML页面碎片化与语法、语义和频率规则，采用贝叶斯方法动态更新规则权重和遗传算法优化系统参数，精度从77.2%提升至87.3%，每页处理时间平均减少约14%。
🔬 方法详解
问题定义：本文旨在解决电商网站价格提取中的结构变化适应性差和维护成本高的问题。现有方法在面对动态内容和结构变化时，往往表现不佳，导致提取效率低下。
核心思路：提出的自适应无浏览器价格提取系统结合了HTML页面碎片化与多种规则，采用贝叶斯方法和遗传算法来动态调整和优化提取规则，从而提高系统的鲁棒性和准确性。
技术框架：系统架构包括数据获取、页面碎片化、规则应用和结果输出四个主要模块。首先通过HTTP请求获取HTML内容，然后对页面进行碎片化处理，接着应用语法、语义和频率规则进行价格提取，最后输出提取结果。
关键创新：最重要的创新在于引入了贝叶斯方法和遗传算法，使得规则权重能够动态更新，从而增强了系统对不同网站结构的适应能力。这一方法与传统的静态规则方法形成了鲜明对比。
关键设计：在参数设置上，系统通过贝叶斯推断动态调整规则权重，遗传算法则用于优化全局参数，确保提取过程的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的自适应无浏览器价格提取系统在精度上从77.2%提升至87.3%，每页处理时间平均减少约14%。这一性能提升使其成为手动调优的无浏览器解决方案和资源密集型浏览器或大语言模型方法的有力竞争者。
🎯 应用场景
该研究的潜在应用领域包括电商平台的价格监测、竞争对手分析和市场趋势预测。通过提高价格提取的准确性和效率，企业能够更好地进行市场分析和决策，提升竞争力。未来，该系统还可以扩展到其他类型的数据提取任务中，具有广泛的应用前景。
📄 摘要（原文）
Price extraction from websites is a key task for market monitoring, price comparison, and business analytics in e-commerce. Existing approaches can be broadly divided into four groups, and understanding their trade-offs in accuracy and scalability is essential for selecting suitable extraction strategies. Classical methods rely on manually written wrappers and rule induction from labeled pages, offering high accuracy but adapting poorly to structural changes and requiring considerable maintenance effort. Browser-based methods, using tools such as Selenium and Puppeteer, handle dynamic JavaScript content but consume large computational resources and scale poorly. Browserless approaches retrieve HTML directly via HTTP requests, offering significant gains in speed and cost, but rely on rules calibrated for specific sites. Methods based on machine learning and large language models offer adaptability but require training data and substantial computation. Our main contribution is an adaptive browserless price extraction system that improves robustness to structural differences between websites. We implemented a baseline architecture combining HTML page fragmentation with syntactic, semantic, and frequency rules, and extended it in two ways: a Bayesian approach that dynamically updates rule weights, and a genetic algorithm that optimizes the system's global parameters. This hybrid scheme increased precision from 77.2% to 87.3% and reduced average per-page processing time by approximately 14% relative to the baseline, confirming it as a competitive alternative to manually tuned browserless solutions and to more resource-intensive browser- or LLM-based methods, offering high extraction accuracy at low computational cost.