What Else Needs Fixing? Exploring Cost-Effective Test-Time Compute for Revision Propagation in Artifacts Generated Through Conversation

📄 arXiv: 2609.03254v1 📥 PDF

作者: Daisuke Kikuta

分类: cs.CL, cs.LG

发布日期: 2026-09-03

备注: Accepted at EMNLP 2026 Industry Track. The code is available at https://github.com/ntt-dkiku/llm-revision-propagation

🔗 代码/项目: GITHUB

💡 一句话要点

提出成本有效的测试时计算方法以优化对话生成的修订传播

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 修订传播 对话生成 成本效益 基准测试 并行采样 智能助手

📋 核心要点

  1. 现有方法在用户仅指定局部更改时，难以有效识别和传播修订到所有相关部分。
  2. 论文提出了一种新的基准测试，并评估了多种修订方法，以提高对话生成工件的修订效率。
  3. 实验结果表明，最具成本效益的修订方法能够显著提升准确率，达到93%。

📝 摘要（中文）

大型语言模型（LLMs）常通过迭代生成和修订的对话帮助用户生成工件。然而，当用户仅指定局部更改时，LLMs必须识别相关依赖并将修订传播到工件的所有受影响部分。本文研究了LLMs在对话生成工件中的这一能力，并探索了在这一新环境下的成本有效的测试时计算。我们引入了一个新的基准，并评估了九种修订方法，结果显示基线准确率为68.3%至93%，最具成本效益的方法是从三个并行样本中选择，准确率提升2.2%至9.7%。我们的代码和数据集可在https://github.com/ntt-dkiku/llm-revision-propagation获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在用户进行局部修订时，如何有效识别和传播修订至工件所有相关部分的问题。现有方法在处理依赖关系时存在不足，导致修订效果不佳。

核心思路：论文提出通过引入新的基准测试和评估多种修订方法，来优化修订传播的效率和准确性。通过对比不同方法的性能，寻找最具成本效益的解决方案。

技术框架：整体架构包括三个主要模块：1) 基准测试的构建，2) 修订方法的评估，3) 结果分析与优化。每个模块相互关联，确保修订传播的有效性。

关键创新：最重要的技术创新在于提出了一种新的修订方法评估框架，并通过并行样本选择技术显著提高了修订的准确性。这一方法与传统的单一样本选择方法存在本质区别。

关键设计：在实验中，采用了多种修订方法，包括顺序反思和并行采样变体，关键参数设置和损失函数设计经过精心调整，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基线方法的准确率在68.3%至93%之间，而最具成本效益的方法通过从三个并行样本中选择，提升了2.2%至9.7%的准确率，展示了显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括智能助手、内容生成和在线教育等场景。通过优化修订传播，能够提高用户交互体验和生成内容的质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) often help users generate artifacts through iterative cycles of generation and revision in conversation. A challenge here is that, when users specify only a local change during revision, LLMs must instead identify the relevant dependencies and propagate the revision to all affected parts of the artifact. This paper studies this ability of LLMs on conversationally generated artifacts, where the artifact context and its dependencies may be embedded in the conversation history. Toward practical use, we also explore cost-effective test-time compute for this new setting. Specifically, we introduce a new benchmark for this setting, and evaluate nine revision methods, including sequential reflection and parallel sampling variants, using gpt-oss-20b/120b, gpt-5.4-mini, and qwen3.5-9b/27b/122b on the benchmark. The results show that baselines achieve accuracies of 68.3--93%, and the most cost-effective method is selecting from three parallel samples using either LLM-based or medoid selection, which improves accuracy by 2.2--9.7%. Our code and dataset are available at https://github.com/ntt-dkiku/llm-revision-propagation.