Representing Visual Evidence for Item Difficulty Prediction: Visual Textualization and Image-Native Modeling

📄 arXiv: 2608.04554v1 📥 PDF

作者: Han Chen, Ming Li, Hong Jiao, Tianyi Zhou

分类: cs.CL, cs.CV

发布日期: 2026-08-05

💡 一句话要点

提出视觉证据表示方法以解决项目难度预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 项目难度预测 视觉文本化 图像原生建模 多模态学习 教育评估

📋 核心要点

  1. 现有方法通常将问题和答案选项仅表示为文本，忽视了视觉证据的潜在价值，导致难度预测的准确性不足。
  2. 本研究提出了视觉文本化和图像原生建模两种方法，以更好地表示视觉证据，从而提高项目难度预测的准确性。
  3. 实验结果显示，视觉接口在难度回归中表现优异，Open-VLM文本化在所有评估的LLM中均取得了较低的RMSE点估计。

📝 摘要（中文）

从内容预测项目难度可以为新开发的问题提供初步估计，尤其是在数学题中包含视觉成分时。现有方法通常将问题干和答案选项表示为文本，而本研究探讨如何有效表示视觉证据。通过比较文本、视觉文本化和图像原生建模，研究表明视觉接口在难度回归中表现优异，尤其是Open-VLM文本化在所有评估的LLM中均取得了较低的RMSE点估计。实验结果显示，图像原生建模作为一种竞争性替代方案，其有效性依赖于VLM的适应方式。

🔬 方法详解

问题定义：本研究旨在解决如何有效表示视觉证据以进行项目难度预测的问题。现有方法主要依赖文本表示，未能充分利用视觉信息，导致预测准确性不足。

核心思路：论文提出了两种新的视觉证据表示方法：视觉文本化和图像原生建模。视觉文本化将视觉信息转化为语言，而图像原生建模则保留原始图像，旨在比较这两种方法在难度预测中的效果。

技术框架：整体架构包括数据准备、模型训练和评估三个主要阶段。首先，使用Eedi项目数据集进行难度标定，然后训练大型语言模型（LLMs）和视觉语言模型（VLMs）进行难度回归。

关键创新：最重要的创新在于提出了图像原生建模作为一种有效的替代方案，与传统的文本化方法相比，能够更好地保留视觉信息，从而提高预测性能。

关键设计：在模型训练中，采用了不同的损失函数和参数设置，以适应视觉文本化和图像原生建模的特点。具体细节包括对模型的适应性调整和对视觉信息的处理方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉文本化方法在所有评估的LLM中均取得了较低的RMSE点估计，而图像原生建模在所有VLM中也表现出良好的适应性。具体而言，Open-VLM文本化在难度预测中表现优于传统文本方法，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线测试系统和智能教育工具。通过更准确地预测项目难度，教育工作者可以更好地设计和调整测试内容，从而提高学生的学习效果和体验。未来，该方法可能会影响教育技术的发展方向，推动多模态学习的应用。

📄 摘要（原文）

Predicting item difficulty from content can provide an initial estimate for newly developed questions before sufficient student responses are available. Existing approaches typically represent the question stem and answer choices as text. When mathematics items contain visual components, a common pipeline first textualizes that evidence and then applies a text predictor. We ask: how should visual evidence be represented for item difficulty prediction? We compare question text alone, visual textualization, which expresses visual evidence in language, and image-native modeling, which retains the original image. Using Eedi items with difficulty calibrated from student responses, we train large language models (LLMs) and vision-language models (VLMs) directly for difficulty regression. Both visual interfaces achieve the lowest point estimates, although the leading systems cannot be reliably ordered. Open-VLM textualization yields lower RMSE point estimates for all evaluated LLMs, while broader adaptation does so for all image-native VLMs. Test-time interventions show dependence on the paired full-item image, but do not isolate the additional visual component. The two visual interfaces also make partially complementary item-level errors and differ substantially in computational workflow. Thus, textualization should not be treated as the only practical interface: image-native modeling is a competitive alternative whose effectiveness depends on how the VLM is adapted.