Text Is the Bottleneck: A Small-Scale Replication of LLM Game Playing in Riichi Mahjong

📄 arXiv: 2610.34791v1 📥 PDF

作者: Mingge Xu

分类: cs.CL

发布日期: 2026-10-26

备注: 12 pages, 3 figures, 2 tables. Replication of the riichi-mahjong track of arXiv:2509.01328. Code, configurations and ~3,200 arena game logs released; no trained weights (Tenhou data terms)

💡 一句话要点

提出小规模模型以解决大型语言模型在麻将游戏中的瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 麻将游戏 小规模模型 决策一致性 卷积网络 Transformer 人工智能 游戏AI

📋 核心要点

  1. 现有大型语言模型在复杂卡牌游戏中的表现受限于文本生成的质量，导致决策一致性不足。
  2. 论文提出使用小规模卷积网络和Transformer模型，通过优化数据和标签匹配来提高麻将游戏的决策能力。
  3. 实验结果显示，经过优化的模型在决策一致性和游戏表现上显著优于传统的文本提示LLM，验证了模型设计的有效性。

📝 摘要（中文）

本研究在大幅减少预算的情况下，复制了“大型语言模型能否掌握复杂卡牌游戏？”的麻将轨道。通过使用最多2B参数的模型和16GB消费级GPU，研究发现文本是瓶颈。在相同的训练集上，2.6M参数的卷积板编码器在测试决策中与强AI Mortal达成80.6%的一致性，超越了所有训练的文本提示LLM（最佳为77.8%）。在1.71M决策的扩展中，4.9M参数的Transformer达成94.7%一致性，优于0.8B LLM，并在与三位Mortal冠军的对抗中表现出统计等效性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在麻将游戏中决策一致性不足的问题，现有方法依赖于文本生成，导致性能瓶颈。

核心思路：通过使用小规模的卷积网络和Transformer模型，优化数据和标签的匹配，从而提升决策的准确性和游戏表现。

技术框架：整体架构包括数据预处理、模型训练和评估三个主要阶段。首先，构建训练集并进行标签匹配；其次，训练卷积网络和Transformer模型；最后，通过对比实验评估模型性能。

关键创新：最重要的创新在于通过小规模模型实现了与大型语言模型相当的决策一致性，突破了文本生成的限制，展示了小模型在复杂任务中的潜力。

关键设计：在模型设计中，使用了2.6M和4.9M参数的卷积和Transformer结构，采用了特定的损失函数和优化策略，以提高模型在麻将游戏中的表现。

📊 实验亮点

实验结果显示，2.6M参数的卷积模型在测试决策中达成80.6%一致性，而4.9M参数的Transformer模型在1.71M决策中达成94.7%一致性，均优于0.8B参数的LLM，验证了小规模模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、智能决策系统和人机交互等。通过优化小规模模型的决策能力，可以在资源有限的情况下实现高效的游戏策略和智能决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

We replicate the riichi-mahjong track of "Can Large Language Models Master Complex Card Games?" (arXiv:2509.01328) under a drastically smaller budget: models of at most 2B parameters, one 16 GB consumer GPU, about five GPU-days. (1) With matched data and labels, text is the bottleneck: on the same 100k-decision training set, a 2.6M-parameter convolutional board encoder agrees with the strong AI Mortal on 80.6% of test decisions, above every text-prompt LLM we train (best 77.8%), and places better at the table (2.85 over 1,000 games vs. ~3.0 for the LLMs; paired difference at n=100 not significant). Scaled to 1.71M decisions, a 4.9M-parameter Transformer reaches 94.7% agreement, beats the 0.8B LLMs on identical seeds (-0.45 ranks, sign test p=0.005), and is statistically equivalent to parity against three Mortal champions (TOST within 0.10 ranks, p=6e-4); parity against a teacher-opponent is roughly the ceiling of pure imitation. (2) Training toward the teacher raises teacher agreement more than a 2.5x parameter increase does (+2.5 vs. +1.5 points); on human-record agreement both effects are +1.0, and neither is visible at the table. (3) Few-point agreement differences do not resolve into playing strength within a family: +2.5 agreement points coincide with a paired placement difference of +0.02 +/- 0.12 ranks (p=1.0), and +2.0 points at 2B with -0.06 (p=0.37) - both below the ~0.25-rank resolution of 100 paired games. We also document a paper-code mismatch in the original winner filter, reconstruct its two private engine patches, and show that a divide-and-conquer pipeline makes template-generated Japanese rationales 93% sentence-exact (43% without facts). Per Tenhou's terms we release no trained weights - only code, configurations, and evaluation protocols.