Whose hotel does the AI recommend? An algorithm audit of reputation signals in LLM-assisted hotel selection
作者: Mirza Samad Ahmed Baig, Syeda Anshrah Gillani, Asher Ali
分类: cs.AI, cs.CL, cs.CY, cs.LG
发布日期: 2026-06-15
备注: 32 Pages
💡 一句话要点
通过算法审计揭示LLM辅助酒店选择中的声誉信号影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 酒店推荐 算法审计 声誉信号 因果分析 用户体验 市场策略
📋 核心要点
- 现有的LLM助手在酒店推荐中缺乏透明性，用户无法理解推荐背后的具体依据。
- 本文通过算法审计的方法，系统性地分析了不同因素对酒店推荐的影响，揭示了推荐机制的内在逻辑。
- 实验结果表明，客人评分和价格是影响推荐的主要因素，且生态认证的影响被过度估计，管理响应未被考虑。
📝 摘要（中文）
随着旅行者越来越多地依赖大型语言模型（LLM）助手进行酒店预订，这些系统成为了酒店可见性的门槛。然而，它们推荐的依据尚未被充分记录。本文通过预先指定的算法审计，利用随机选择基础的联合分析，研究了不同个体、提示模板和多种模型下，助手在五家酒店中进行选择时的行为。研究发现，客人评分和价格对推荐的影响显著，客人评分提升31.6个百分点，而高价格则降低30.0个百分点。此外，生态认证被过度重视，而管理响应则被忽视。列表位置作为一种无内容的因素，因果性地影响推荐，价值约为每晚12美元。研究结果为生成引擎优化和AI信息中介的问责提供了因果证据。
🔬 方法详解
问题定义：本文旨在解决LLM助手在酒店推荐中缺乏透明性的问题，现有方法未能有效揭示推荐依据的具体因素和影响。
核心思路：通过预先指定的算法审计，利用随机选择基础的联合分析，系统性地评估不同声誉信号对酒店推荐的影响。
技术框架：研究设计包括多个阶段：首先随机化酒店的各项属性（如评分、价格等），然后通过不同的模型和提示模板进行推荐，最后分析各因素的边际效应。
关键创新：本研究的创新在于系统性地量化了多种声誉信号对推荐概率的影响，尤其是首次揭示了生态认证的过度重视和管理响应的忽视。
关键设计：研究中设置了多种参数，包括酒店属性的随机化、模型选择的多样性，以及使用的统计分析方法，以确保结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，客人评分对推荐的影响显著，提升31.6个百分点，而高价格则降低推荐概率30.0个百分点。此外，列表位置的因果影响被量化为每晚约12美元，揭示了推荐机制中的潜在偏差。
🎯 应用场景
该研究的结果可以广泛应用于旅游行业，帮助酒店管理者理解影响客户选择的关键因素，从而优化其市场策略。同时，研究也为AI助手的设计提供了重要的参考，促进其在推荐系统中的透明性和公正性。
📄 摘要（原文）
Travelers increasingly ask large language model (LLM) assistants which hotel to book, making these systems gatekeepers of property visibility -- yet what moves their recommendations is undocumented. We conduct a pre-specified algorithm audit using a randomized choice-based conjoint: across personas, prompt templates, and twelve open-weight and proprietary models, assistants choose among five hotels whose guest rating, review volume and recency, management response, chain affiliation, price, eco-certification, and list position are independently randomized. We estimate the average marginal component effect of each signal on the probability of recommendation. Guest rating and price dominate (a top rating raises selection by 31.6 percentage points; a high price lowers it by 30.0), reproducing human valence-and-price primacy but over-weighting eco-certification and ignoring management response. List position -- a content-free artifact -- shifts recommendations causally, worth about \$12 per night. Stated reasons track revealed weights imperfectly. The findings ground generative engine optimization and the accountability of AI infomediaries in causal evidence.