Age of LLM: A Strategic 1v1 Benchmark for Reasoning, Diplomacy and Reliability of Large Language Models under Fog of War
作者: Arnaud Ricci
分类: cs.AI, cs.CL, cs.GT, cs.MA
发布日期: 2026-06-23
备注: 25 pages including appendices, 8 figures, 4 tables; appendices include verbatim system prompt and engine resolution pseudocode. All correlations reported with p-values, 95% bootstrap confidence intervals and Spearman's rho; includes a Steiger test and Bradley-Terry fit
💡 一句话要点
提出Age of LLM基准以评估大语言模型在战争迷雾下的推理与外交能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 基准测试 推理能力 战争迷雾 外交机制 人工智能决策 策略游戏
📋 核心要点
- 现有的基准测试往往受到数据污染的影响，缺乏对大语言模型在复杂环境下推理能力的全面评估。
- 论文提出了Age of LLM基准，通过引入战争迷雾和全面外交等因素，设计了一个新的1对1对抗测试框架。
- 实验结果显示，核武器的使用占主导地位，军事征服速度较快，外交行为频繁但成功率低，为LLM的推理与决策提供了新的见解。
📝 摘要（中文）
本文介绍了Age of LLM，这是一个回合制的1对1基准测试，两个大语言模型在13x7的网格上对抗，目标是摧毁敌方基地。测试中引入了三种压力因素：战争迷雾、全面外交（包括信息交流、停火、最后通牒等）以及可靠性维度，要求每个回合遵循严格的JSON格式，非法行为将被静默丢弃。该引擎为私有，每场比赛使用新的随机地图种子和对手，减少了公共基准测试中的数据污染。我们对15个推理模型进行了54场比赛和5,258个动作的基准测试，发现核武器的快速使用占主导地位，军事征服虽少但更快，外交行为频繁但几乎从未成功。该研究为未来的LLM推理研究提供了新的视角。
🔬 方法详解
问题定义：本文旨在解决现有基准测试中数据污染和评估不全面的问题，特别是在复杂的对抗环境下大语言模型的推理能力。
核心思路：通过设计一个包含战争迷雾和全面外交的1对1对抗测试，论文希望更真实地模拟大语言模型在不确定环境中的决策过程。
技术框架：整体架构包括一个私有引擎，使用随机地图种子和对手进行比赛，模型在每个回合中遵循严格的JSON格式进行操作。
关键创新：引入了战争迷雾和外交机制，使得模型在推理时需要考虑更多的变量和不确定性，这与传统的基准测试有本质区别。
关键设计：模型接收的提示几乎仅为规则，未提供建造顺序建议，确保测试的公平性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，核武器的快速使用在规则一致的子语料库中占比高达78%，而在整体语料库中则达到85%。军事征服虽然较少，但其速度明显更快（平均12.3回合对比18.9回合）。此外，约58%的非法行为源于战争迷雾或状态错误，反映了模型的信念追踪能力。
🎯 应用场景
该研究的潜在应用领域包括军事模拟、策略游戏开发和人工智能决策系统。通过对大语言模型在复杂环境下的推理能力进行评估，可以为相关领域的技术进步提供重要参考，推动智能体在不确定性环境中的表现提升。
📄 摘要（原文）
We introduce Age of LLM, a turn-based 1v1 benchmark in which two LLMs face off on a 13x7 grid to destroy the enemy base. Three stressors are deliberate: fog of war, full diplomacy (messages, ceasefires, ultimatums; uranium kept secret), and a reliability dimension where every turn must follow a strict JSON schema and an illegal action is silently discarded. The engine is private and each match uses a fresh random map seed and opponent, mitigating the data contamination that affects public benchmarks. Models receive a (near) rule-only prompt with no build-order advice (two tactical seed phrases were present during data collection; see Section 2.7). We benchmark 15 reasoning models across 54 matches and 5,258 actions. Findings: (1) the nuclear rush dominates (78% on the rules-coherent v0.11+ sub-corpus; 85% corpus-wide) with a sole-launcher signature that is largely mechanical under secret-simultaneous launch rules, not a cognitive deterrence failure; (2) military conquest is rare but faster (12.3 vs 18.9 turns); (3) diplomacy is prolific yet almost never consummated; (4) ~58% of illegal actions are fog/state errors, making the illegal-action rate a measure of belief-tracking; (5) -- the least established, and the only one we label exploratory -- a weak link associates reliability with winning. The corpus is small, unbalanced and not side-swapped, so the ranking is a preliminary descriptive view, not a contribution. Beyond ranking, the turn-by-turn traces of actions and messages make the corpus a lens on how LLMs reason under adversarial uncertainty -- their belief-tracking, spontaneous deception, and per-model cognitive "personas" -- which we frame as a future research direction. We release the replay format, an isometric viewer and all replays; engine source on request.