NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama
作者: Logan Mann, Abdur Rahman, Mohammad Saifullah, Taaha Kazi, Vasu Sharma
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-16
备注: 10 pages. Accepted to the ICML 2026 Workshops on High-dimensional Learning Dynamics (HiLD) and Culture x AI
💡 一句话要点
提出NarrativeWorldBench以解决长篇音频剧创作中的模型局限性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长篇音频剧 叙事结构 大型语言模型 跨语言评估 潜在世界模型 计算效率 创作工具 文化转移函数
📋 核心要点
- 现有的大型语言模型在长篇音频剧创作中表现不佳，尤其在叙事结构和一致性方面存在显著不足。
- 论文提出了NarrativeWorldBench基准测试框架，并引入N-VSSM模型，旨在提升长篇音频剧的叙事能力和计算效率。
- 实验结果表明，N-VSSM在多个评估指标上超越了现有闭合前沿模型，且计算资源消耗显著降低。
📝 摘要（中文）
长篇连载音频剧是一个重要的创作媒介，但现有的大型语言模型在此领域表现不佳。本文基于21种模型进行基准测试，提出了NarrativeWorldBench，一个开放的基准测试框架，涵盖九种叙事结构指标，并在多个语言中进行跨语言评估。同时，提出了N-VSSM模型，能够在超过200集的剧集中维持256维的潜在世界状态，且计算效率显著提高。实验结果显示，N-VSSM在长篇一致性和可控性方面优于现有模型，具有更高的跨语言保真度。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在长篇音频剧创作中面临的叙事一致性和结构化表达不足的问题。现有方法在长时间跨度的情节发展中容易出现逻辑混乱和叙事断裂。
核心思路：论文提出了NarrativeWorldBench基准测试框架，并引入了N-VSSM模型，通过维护一个结构化的潜在世界状态来提升长篇音频剧的叙事能力。N-VSSM利用事件条件后验和高效的解码器设计，确保在长时间跨度内保持一致性。
技术框架：N-VSSM模型基于Mamba-2骨干网络，包含256维的潜在状态表示，采用事件条件后验来更新状态，并通过8B解码器进行输出。模型在不同的时间跨度（10, 20, 50, 100, 200集）上进行评估，确保跨语言的有效性。
关键创新：N-VSSM模型的主要创新在于其能够在长达200集的情节中保持高达0.84的情节一致性F1分数，同时计算资源消耗比闭合前沿模型低4倍。此外，学习的文化转移函数显著提高了跨语言的保真度。
关键设计：N-VSSM的设计包括256维的潜在状态表示，事件条件后验的更新机制，以及8B解码器的高效实现。损失函数设计上，强调了叙事一致性和结构化表达的优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，N-VSSM在所有评估时间跨度上保持了至少0.84的情节一致性F1分数，且计算效率显著提升，较闭合前沿模型降低了4倍的计算资源消耗。此外，在专业作者的评估中，N-VSSM在长篇一致性方面的偏好率达到71%，可控性评分提高了1.3个Likert点。
🎯 应用场景
该研究的潜在应用领域包括音频剧创作、互动叙事和游戏设计等。通过提升长篇音频剧的叙事能力，能够为创作者提供更强大的工具，促进多语言内容的生成与传播，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-form serialized audio drama, with arcs that run for 200 to 800 episodes, is a major creative medium and a setting where frontier large language models (LLMs) fail. We benchmark 21 models, spanning classical, fine-tuned, open-frontier, closed-frontier, and reasoning tiers, on a uniform set of structural narrative metrics. All closed-frontier systems saturate at a plot-beat F1 in the band [0.78, 0.81] and collapse by about -0.20 F1 at horizon h=200. We introduce NarrativeWorldBench, an open benchmark of nine narrative-structure metrics evaluated across horizons h in {10, 20, 50, 100, 200}, with cross-lingual evaluation across four Indic languages (Hindi, Tamil, Telugu, Marathi). We introduce N-VSSM, a Narrative Variational State-Space Model that maintains a structured 256-dimensional latent world state over more than 200 episodes via a Mamba-2 backbone with an event-conditioned posterior and an 8B decoder. N-VSSM holds plot-beat F1 >= 0.84 across all horizons at 4x lower compute than the closed-frontier band. A learned Cultural Transfer Function lifts cross-language fidelity by +0.20 to +0.23 Likert points. In a within-subjects writer study (n = 12 professional authors, 240 trials), N-VSSM is preferred over Claude Opus 4.5 on long-arc consistency 71% of the time and rated +1.3 Likert points higher on controllability.