A Dataset for Modeling Iterative Problem-Solving

📄 arXiv: 2609.00940v1 📥 PDF

作者: Fagun Patel, Sang T. Truong, Duc Q. Nguyen, Kazunori Fukuhara, Benjamin W. Domingue, Sanmi Koyejo, Nick Haber

分类: cs.CL

发布日期: 2026-09-01

备注: EMNLP 2026 Findings

💡 一句话要点

构建CodeInsight数据集以建模迭代问题解决过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 迭代学习 编程教育 数据集构建 状态空间模型 大语言模型 自动化评分 求解策略 反馈机制

📋 核心要点

  1. 现有的迭代问题解决模型缺乏对学习者和自主代理在多次尝试中的反馈和策略变化的深入理解。
  2. 本文提出的CodeInsight数据集通过记录学生的代码提交和反馈，提供了一个研究迭代学习动态的丰富环境。
  3. 实验结果表明，适应性RSSM在四门课程中的三门课程上表现出最佳的预测准确性，而LLM预测器则在生成完整提交方面具有优势。

📝 摘要（中文）

解决问题的过程通常需要多次尝试，涉及到反馈和解决方案的修订。本文提出了CodeInsight，一个包含3286名本科生在两门C++入门课程中超过300万次提交的大规模数据集，旨在研究迭代问题解决的动态。通过分析这些数据，论文建立了一个基准，评估了多种模型的表现，包括适应性重current状态空间模型（RSSM）和基于大语言模型（LLM）的预测器。研究发现，模型的编码能力与预测性能呈负相关，LLM更适合作为生成性求解器而非准确的行为预测器。

🔬 方法详解

问题定义：本文旨在解决如何有效建模迭代问题解决过程中的反馈和策略变化。现有方法往往无法充分捕捉学习者在多次尝试中的动态表现和错误模式。

核心思路：论文通过构建一个大规模的数据集CodeInsight，记录学生在编程课程中的多次提交及其反馈，来深入分析迭代学习的过程。采用RSSM和LLM两种模型，分别从不同角度对学习者的表现进行建模。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段通过自动化评分系统获取学生的代码提交和反馈；模型训练阶段使用RSSM和LLM进行学习；评估阶段则通过共享的校准和评分协议对模型进行比较。

关键创新：最重要的创新在于引入了RSSM来跟踪求解者特征，并通过离散潜变量进行建模。这种方法能够更好地捕捉学习者在迭代过程中的变化，与传统的静态模型形成鲜明对比。

关键设计：在模型设计中，RSSM采用了适应性结构以提高预测准确性，而LLM则被设计为生成性求解器，能够在每次尝试中生成完整的代码提交。模型的参数设置和损失函数经过精心调整，以优化学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，适应性RSSM在三门课程中实现了最佳的预测准确性，而LLM预测器虽然准确性较低，但能够生成完整的代码提交，便于分析失败模式。这表明模型的编码能力与预测性能呈负相关，LLM更适合作为生成性求解器。

🎯 应用场景

该研究的潜在应用领域包括教育技术、编程教育和智能辅导系统。通过深入理解学生在编程学习中的迭代过程，教育者可以更好地设计课程和反馈机制，从而提高学习效果。未来，该数据集和模型也可用于开发更智能的学习助手和自动化评估工具。

📄 摘要（原文）

Solving problems through repeated attempts is a sequential modeling task: at each step, the solver receives feedback and decides how to revise their solutions. Predicting whether performance improves, plateaus, or regresses across attempts is central to understanding any iterative problem-solving process in both human learners and autonomous agents. Beyond outcomes, modeling what errors persist and how strategies shift across attempts provides deeper insight into the mechanics of sequential learning. Studying these dynamics requires observing many solvers as they attempt, receive feedback, and revise. Programming courses with automated grading provide this setting, as students iteratively submit code to test suites and receive feedback on every attempt. We therefore curate CodeInsight, a large-scale dataset of over 3 million submissions from 3,286 undergraduates across 2 introductory C++ courses in 2 academic years, with test-case-level outcomes, timestamps, and source code. On this dataset, we build a benchmark that evaluates models spanning parametric, sequential, and generative traditions under a shared calibration-and-scoring protocol, including a Recurrent State Space Model (RSSM) adapted to track solver characteristics through discrete latent variables and an LLM-based predictor that generates explicit solutions. The adapted RSSM achieves the strongest predictive accuracy on three of the four courses. The LLM predictor is less accurate but produces full submissions at each attempt, enabling direct analysis of failure modes. We find that the model's coding proficiency is inversely related to predictive performance in this setting, with the LLM better understood as a generative solver conditioned on context rather than a faithful predictor of solver behavior. We publicly release our code and the dataset on request to facilitate future research.