Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking

📄 arXiv: 2402.05880v2 📥 PDF

作者: Nikhil Sharma, Q. Vera Liao, Ziang Xiao

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-02-08 (更新: 2024-02-10)

备注: Accepted in CHI'24. Supplementary material will be available online with the official submission in CHI 2024

💡 一句话要点

研究LLM驱动搜索系统对信息多样性影响的实验

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对话搜索 选择性暴露 信息偏见 用户行为分析

📋 核心要点

  1. 现有研究关注传统搜索系统可能导致的选择性暴露和回音室效应，但对LLM驱动的搜索系统的影响尚不明确。
  2. 本文通过实验探讨LLM驱动的对话搜索如何影响信息查询的偏见，尤其是与传统搜索的比较。
  3. 实验结果表明，使用LLM驱动的搜索系统时，用户更倾向于偏见信息查询，且意见偏见的LLM会加剧这一现象。

📝 摘要（中文）

大型语言模型（LLMs）驱动的对话搜索系统已被数亿人使用，带来了相较于传统搜索的诸多优势。然而，关于这些系统在增加选择性暴露和形成回音室方面的风险仍然知之甚少。本文通过两项实验探讨了LLM驱动的对话搜索是否及如何增加选择性暴露，以及具有意见偏见的LLM如何影响这一效果。结果显示，参与者在使用LLM驱动的搜索时更倾向于进行偏见信息查询，且强化用户观点的LLM加剧了这种偏见。这些发现对LLM和对话搜索系统的开发及相关政策具有重要意义。

🔬 方法详解

问题定义：本文旨在探讨LLM驱动的对话搜索系统是否会增加用户的选择性暴露，现有方法未能充分评估这一风险。

核心思路：通过设计实验比较LLM驱动搜索与传统搜索在信息查询偏见上的差异，分析意见偏见对用户行为的影响。

技术框架：研究包括两个实验，分别评估LLM驱动搜索与传统搜索的用户查询行为，并分析不同类型LLM对结果的影响。

关键创新：本研究首次系统性地评估了LLM驱动搜索系统在选择性暴露方面的影响，揭示了意见偏见LLM对用户查询行为的加剧作用。

关键设计：实验设计包括对比不同搜索系统的用户查询数据，分析用户在使用不同类型LLM时的偏见程度，采用定量和定性分析相结合的方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LLM驱动的搜索系统时，用户的偏见信息查询显著增加，且当LLM强化用户观点时，偏见程度进一步加剧。这一发现对比传统搜索系统，强调了LLM在信息多样性方面的潜在风险。

🎯 应用场景

该研究的结果对信息检索系统的设计和政策制定具有重要意义，尤其是在确保信息多样性和减少偏见方面。未来，LLM驱动的搜索系统可以在新闻推荐、社交媒体和在线教育等领域得到广泛应用，促进用户接触多元化的信息。

📄 摘要（原文）

Large language models (LLMs) powered conversational search systems have already been used by hundreds of millions of people, and are believed to bring many benefits over conventional search. However, while decades of research and public discourse interrogated the risk of search systems in increasing selective exposure and creating echo chambers -- limiting exposure to diverse opinions and leading to opinion polarization, little is known about such a risk of LLM-powered conversational search. We conduct two experiments to investigate: 1) whether and how LLM-powered conversational search increases selective exposure compared to conventional search; 2) whether and how LLMs with opinion biases that either reinforce or challenge the user's view change the effect. Overall, we found that participants engaged in more biased information querying with LLM-powered conversational search, and an opinionated LLM reinforcing their views exacerbated this bias. These results present critical implications for the development of LLMs and conversational search systems, and the policy governing these technologies.