Negotiating with LLMS: Prompt Hacks, Skill Gaps, and Reasoning Deficits

📄 arXiv: 2312.03720v2 📥 PDF

作者: Johannes Schneider, Steffi Haag, Leona Chandra Kruse

分类: cs.CL, cs.AI

发布日期: 2023-11-26 (更新: 2024-11-22)

💡 一句话要点

通过用户研究揭示LLM在价格谈判中的不足与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 价格谈判 人机互动 推理能力 提示操控 用户研究 教育需求

📋 核心要点

  1. 现有研究多集中于LLM的治理与监管，缺乏对人机互动特别是竞争性谈判的实证分析。
  2. 通过用户研究，探索人类如何与LLM进行价格谈判，揭示其推理缺陷与易受操控的特性。
  3. 研究结果显示，谈判价格差异显著，反映出人们在与LLM互动中的素养差距，提示未来的教育需求。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT在短时间内吸引了超过1亿用户，逐渐渗透到生活的各个领域，导致人机之间的多样化互动。尽管已有研究从第一性原理出发探讨治理与监管，但基于人机对话的观察，尤其是在非合作的竞争情境下的研究仍然较少。本研究通过对40多名参与者进行价格谈判的用户研究，探讨人们与LLM的互动方式，分析谈判结果和策略的差异。同时，指出LLM在推理能力上的不足，以及其易受提示操控的特性，后者可能导致LLM做出违背指令或缺乏理性的协议。研究还显示，人类在谈判中达成的价格差异较大，反映出与LLM有效互动的素养差距。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLM）在价格谈判中的推理不足和易受操控的问题。现有方法多关注LLM的应用，而缺乏对其在竞争性情境下表现的深入研究。

核心思路：通过对40多名用户进行价格谈判的实证研究，分析人类与LLM的互动方式及其结果，揭示LLM的局限性和人类在谈判中的策略差异。

技术框架：研究采用用户研究的方法，参与者与LLM进行价格谈判，收集对话数据并分析谈判结果。主要模块包括参与者选择、谈判过程记录、结果分析和策略比较。

关键创新：本研究的创新点在于首次通过实证数据揭示LLM在非合作性谈判中的推理缺陷及其易受提示操控的特性，填补了相关领域的研究空白。

关键设计：研究设计中，参与者的选择涵盖不同年龄段，确保样本的多样性；谈判策略的记录与分析采用定量与定性相结合的方法，确保结果的全面性与准确性。

📊 实验亮点

实验结果显示，参与者在与LLM的价格谈判中，达成的价格差异显著，反映出人类在与LLM互动中的素养差距。研究揭示了LLM在推理能力上的不足，提示未来在设计更智能的LLM时需考虑这些因素。

🎯 应用场景

该研究的潜在应用领域包括教育、商业谈判和人机交互设计等。通过提升人们与LLM的互动素养，可以更有效地利用这些模型，减少因推理缺陷带来的风险，促进更安全的人工智能应用。未来，研究结果可为LLM的改进和用户培训提供重要参考。

📄 摘要（原文）

Large language models LLMs like ChatGPT have reached the 100 Mio user barrier in record time and might increasingly enter all areas of our life leading to a diverse set of interactions between those Artificial Intelligence models and humans. While many studies have discussed governance and regulations deductively from first-order principles, few studies provide an inductive, data-driven lens based on observing dialogues between humans and LLMs especially when it comes to non-collaborative, competitive situations that have the potential to pose a serious threat to people. In this work, we conduct a user study engaging over 40 individuals across all age groups in price negotiations with an LLM. We explore how people interact with an LLM, investigating differences in negotiation outcomes and strategies. Furthermore, we highlight shortcomings of LLMs with respect to their reasoning capabilities and, in turn, susceptiveness to prompt hacking, which intends to manipulate the LLM to make agreements that are against its instructions or beyond any rationality. We also show that the negotiated prices humans manage to achieve span a broad range, which points to a literacy gap in effectively interacting with LLMs.