Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University
作者: Shahin Hossain
分类: cs.CY, cs.AI, cs.HC
发布日期: 2026-07-05
💡 一句话要点
提出四种LLM依赖类型以改善本科生写作支持
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 学术写作 AI素养 依赖类型 教育政策 少数族裔服务
📋 核心要点
- 现有方法仅通过使用频率评估学生对LLMs的依赖,未能反映学生的独立思考和贡献。
- 本研究提出了一种基于AI素养和价值信念的分类方法,识别四种依赖类型以提供更精准的支持。
- 研究结果显示,战略型用户在标准结果测量中得分最低,表明现有评估工具的局限性。
📝 摘要(中文)
尽管大多数本科生现在使用大型语言模型(LLMs)进行学术写作,但尚无有效方法区分学生对其的不同依赖方式。现有工具仅通过使用频率评估依赖程度,未能识别学生的独立思考贡献。本研究在一所公共少数族裔服务大学进行,基于AI素养框架、期望价值理论和Biggs的预设-过程-产品模型,调查了382名本科生,进行了14次访谈和396份开放式问卷。研究确认了四种不同的依赖类型:战略型(34.3%)、工具型(30.9%)、对话型(30.4%)和依赖型(4.5%)。学生的价值和成本信念预测了他们对LLMs的依赖强度,而AI素养则预测了他们采用的依赖类型,表明需要提供差异化支持。研究还发现约13%的学生因伦理原因拒绝使用AI,这一群体在现有框架中被忽视。这些发现对AI素养项目、学生学习成果的测量以及少数族裔服务机构的公平AI政策具有重要意义。
🔬 方法详解
问题定义:本研究旨在解决现有方法无法有效区分学生对大型语言模型(LLMs)的不同依赖方式的问题。现有工具仅关注使用频率,未能反映学生的独立思考和写作质量。
核心思路:研究基于AI素养框架和期望价值理论,提出了一种新的分类方法,通过分析学生的价值信念和AI素养,识别出四种依赖类型,从而提供更有针对性的支持。
技术框架:研究采用混合方法,结合定量问卷和定性访谈,首先对382名本科生进行问卷调查,然后通过14次深入访谈获取更深层次的见解,最终分析出四种依赖类型。
关键创新:本研究的创新在于识别了四种不同的LLM依赖类型,并发现学生的价值信念和AI素养对其依赖类型有显著影响。这一发现与现有方法的本质区别在于,现有方法仅关注使用频率,而未考虑学生的独立思考能力。
关键设计:研究设计中,问卷包括对LLMs使用频率、学生的价值信念和AI素养的评估,访谈则深入探讨学生的使用动机和伦理考量。
🖼️ 关键图片
📊 实验亮点
研究发现,战略型用户在标准结果测量中得分最低(34.3%),而依赖型用户仅占4.5%。此外,约13%的学生因伦理原因拒绝使用AI,这一群体在现有框架中被忽视。这些结果强调了现有评估工具的局限性,并为未来的AI素养项目提供了重要启示。
🎯 应用场景
该研究的发现可为高校的AI素养教育提供指导,帮助教育工作者设计更有效的课程和支持措施,以提升学生的写作能力和独立思考能力。此外,这些结果也为制定公平的AI政策提供了理论依据,尤其是在少数族裔服务机构中。
📄 摘要(原文)
Although most undergraduates now use large language models (LLMs), a form of generative artificial intelligence (GenAI) for academic writing, no validated method distinguishes the qualitatively different ways students rely on them. Existing instruments assess reliance solely by frequency of use, a measure that, as this study shows, inadvertently rewards dependence on AI rather than recognizing students' own intellectual contribution. Conducted at a public minority-serving university and grounded in the AI Literacy Framework, Expectancy-Value Theory, and Biggs's Presage-Process-Product model, the study drew on 382 undergraduates, 14 interviews, and 396 open-ended survey responses. Four distinct reliance types were identified and confirmed: Strategic (34.3%), Instrumental (30.9%), Dialogic (30.4%), and Dependent (4.5%). Students' value and cost beliefs predicted the intensity of their reliance on LLMs, whereas their AI literacy predicted the type of reliance they adopted, indicating that differentiated support is needed. Notably, Strategic users, those who engaged AI most deliberately, scored lowest on standard outcome measures. This pattern reflects a limitation of current instruments, which index AI's contribution rather than writing quality, thereby penalizing students who show the greatest independent thinking. Analysis also revealed an additional group, roughly 13%, who declined to use AI for ethical rather than practical reasons, and who existing frameworks overlook. These findings carry implications for AI literacy programs, the measurement of student learning outcomes, and equitable AI policy at minority-serving institutions.