Can LLM Agents Infer World Models? Evidence from Agentic Automata Learning

📄 arXiv: 2606.16576v1 📥 PDF

作者: Reef Menaged, Gili Lior, Shauli Ravfogel, Roee Aharoni, Gabriel Stanovsky

分类: cs.CL

发布日期: 2026-06-15

💡 一句话要点

提出代理自动机学习以评估LLM代理的环境推断能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 代理自动机学习 工具调用 环境推断 交互学习 有限自动机 推理模型 查询规划

📋 核心要点

  1. 当前LLM代理在揭示隐藏环境方面的能力有限，尤其在处理复杂任务时表现不佳。
  2. 本文提出代理自动机学习，通过与oracle的交互使用成员查询和等价查询来揭示DFA。
  3. 实验结果显示，LLM在DFA规模增大时性能显著下降，推理模型表现优于非推理模型，但仍存在多种失败模式。

📝 摘要（中文）

本文提出了一种代理自动机学习的方法，以评估工具调用的LLM代理通过交互揭示隐藏环境的能力。在实验中，代理通过与一个oracle的交互，使用成员查询和等价查询来揭示一个隐藏的确定性有限自动机（DFA）。该方法提供了一个可扩展的测试平台，具有可控的任务复杂性和可测量的交互效率。研究发现，随着DFA规模的增加，LLM的性能显著下降，推理模型的表现优于非推理模型，但在查询规划、证据整合和假设构建上存在反复失败。整体结果表明，当前的LLM代理在非平凡的交互发现上有时表现良好，但在任务的稳健性和效率上仍远不及经典算法。

🔬 方法详解

问题定义：本文旨在解决当前LLM代理在揭示隐藏环境时的能力不足，尤其是在复杂任务中的表现不佳。现有方法在处理复杂查询时存在效率低下和稳健性不足的问题。

核心思路：论文提出的代理自动机学习方法，通过与oracle的交互，利用成员查询和等价查询来逐步揭示隐藏的DFA。这种设计旨在通过交互学习来提高LLM代理的环境推断能力。

技术框架：整体架构包括两个主要模块：成员查询模块和等价查询模块。代理通过这些模块与oracle进行交互，逐步构建对目标DFA的理解。实验中使用了经典的自动机学习算法作为基线进行对比。

关键创新：最重要的创新在于将LLM代理与自动机学习结合，形成了一种新的评估框架，能够系统地测试LLM在环境推断中的能力。这与现有方法的本质区别在于强调了交互学习的重要性。

关键设计：在实验中，设置了不同规模的DFA以测试LLM的性能，使用了特定的损失函数来优化查询的有效性，并设计了查询规划策略以提高交互效率。

📊 实验亮点

实验结果显示，随着DFA规模的增加，LLM的性能显著下降，推理模型的表现优于非推理模型，然而在查询规划和假设构建方面存在明显的失败，表明当前LLM在交互发现中的效率仍低于经典算法。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化测试和人机交互等。通过提升LLM在环境推断中的能力，可以为复杂系统的自动化决策提供支持，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

We propose agentic automata learning to evaluate the extent to which tool-calling LLM agents can uncover hidden environments through interaction. In our setup, an agent should uncover a hidden deterministic finite automaton (DFA) by interacting with an oracle through (1) membership queries ("Does this string belong to the target language?") and (2) equivalence queries ("Is this the target DFA?"). This yields a scalable testbed with controlled task complexity, measurable interaction efficiency, and strong baselines (classic automata-learning algorithms). Evaluating state-of-the-art LLMs, we find that performance drops sharply as DFA size increases. Reasoning models are markedly stronger than non-reasoning models, yet trajectory analyses reveal recurring failures in query planning, evidence integration, and hypothesis construction. Overall, our results show that current LLM agents can sometimes perform non-trivial interactive discovery, but remain far less robust and efficient than classic algorithms for the task.