Language Model-In-The-Loop: Data Optimal Approach to Learn-To-Recommend Actions in Text Games

📄 arXiv: 2311.07687v1 📥 PDF

作者: Arjun Vaithilingam Sudhakar, Prasanna Parthasarathi, Janarthanan Rajendran, Sarath Chandar

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-13

💡 一句话要点

提出更新语言模型以优化文本游戏中的行动推荐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 文本游戏 行动推荐 动态更新 人工智能

📋 核心要点

  1. 现有方法如CALM在学习文本游戏时固定了LLM，依赖人工注释数据，成本高且效率低。
  2. 本文提出在学习过程中动态更新LLM，利用游戏内过渡数据来减少对人工注释的依赖。
  3. 实验结果表明，更新后的LLM在某些情况下能够降低对人工数据的需求，但在转移到其他游戏时效果不一。

📝 摘要（中文）

大型语言模型（LLMs）在语言理解基准测试中表现出色。CALM是一种流行的方法，利用LLMs（如GPT-2）的语言先验进行行动候选推荐，以提高文本游戏中的表现。然而，CALM在学习文本游戏时固定了LLM，并依赖于人工注释的游戏数据。本文探讨了在学习过程中更新LLM，以减少对人工注释游戏数据的依赖。通过使用精心选择的游戏内过渡更新LLM，我们观察到可以有效降低对人工注释数据的需求。进一步分析显示，更新后的LLM在转移到其他游戏时并未表现出一致的转移能力。

🔬 方法详解

问题定义：本文旨在解决现有方法在文本游戏中固定LLM并依赖人工注释数据的问题，这导致了高成本和低效率。

核心思路：通过在学习过程中动态更新LLM，利用游戏内过渡数据来优化行动推荐，从而减少对人工注释数据的依赖。

技术框架：整体架构包括数据收集、LLM更新和行动推荐三个主要模块。在学习过程中，选择合适的游戏内过渡数据来更新LLM，并生成行动候选。

关键创新：最重要的创新在于动态更新LLM的策略，与现有方法的固定LLM设计形成鲜明对比，能够更灵活地适应游戏环境。

关键设计：在更新过程中，选择特定的游戏内过渡数据作为输入，设计了适应性损失函数以优化LLM的学习效果，同时保持模型的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通过动态更新LLM，能够显著降低对人工注释数据的依赖，提升了行动推荐的效率。然而，转移到其他游戏时的效果不一致，表明仍需进一步研究模型的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括文本游戏、交互式叙事和教育游戏等。通过优化行动推荐，能够提升用户体验和游戏的可玩性，未来可能对游戏设计和开发产生深远影响。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated superior performance in language understanding benchmarks. CALM, a popular approach, leverages linguistic priors of LLMs -- GPT-2 -- for action candidate recommendations to improve the performance in text games in Jericho without environment-provided actions. However, CALM adapts GPT-2 with annotated human gameplays and keeps the LLM fixed during the learning of the text based games. In this work, we explore and evaluate updating LLM used for candidate recommendation during the learning of the text based game as well to mitigate the reliance on the human annotated gameplays, which are costly to acquire. We observe that by updating the LLM during learning using carefully selected in-game transitions, we can reduce the dependency on using human annotated game plays for fine-tuning the LLMs. We conducted further analysis to study the transferability of the updated LLMs and observed that transferring in-game trained models to other games did not result in a consistent transfer.