ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)

📄 arXiv: 2312.09801v2 📥 PDF

作者: Tosin Adewumi, Lama Alkhaled, Claudia Buck, Sergio Hernandez, Saga Brilioth, Mkpe Kekung, Yelvin Ragimov, Elisa Barney

分类: cs.CL

发布日期: 2023-12-15 (更新: 2024-05-01)

备注: 8 pages, 4 figures

💡 一句话要点

提出ProCoT方法，通过学生与大语言模型互动，提升批判性思维和写作能力，并防止作弊。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 批判性思维 写作教学 主动学习 教育技术

📋 核心要点

  1. 现有教育方法面临学生利用LLM作弊的挑战，同时未能充分利用LLM促进学习。
  2. ProCoT方法要求学生使用LLM生成内容，然后通过查阅文献批判性地评估和修正LLM的输出。
  3. 实验结果表明，ProCoT能有效提升学生的批判性思维和写作能力，并降低学生直接抄袭LLM答案的风险。

📝 摘要（中文）

本文介绍了一种名为Probing Chain-of-Thought (ProCoT) 的新型写作方法，旨在防止学生使用ChatGPT等大型语言模型 (LLM) 作弊，同时增强他们的主动学习能力。LLM的出现对教育和许多其他领域产生了颠覆性影响。由于担心学生作弊，许多人选择禁止使用LLM。然而，LLM也以其幻觉问题而闻名。我们在两个不同的课程中对65名学生进行了ProCoT研究。每个课程的学生被要求使用他们选择的LLM，并从四个问题中选择一个进行提问，然后使用同行评审的参考文献来肯定或反驳LLM输出中的陈述。结果表明：(1) 与仅使用LLM的输出相比，ProCoT通过学生与LLM的互动，激发了学生的创造性/批判性思维和写作能力；(2) 由于现有LLM（特别是ChatGPT）的局限性，与LLM的ProCoT输出相比，学生的ProCoT输出可以防止作弊。我们还发现，大多数学生更喜欢用比LLM更少的词语来回答问题，而LLM通常很冗长。第一个课程中，学生、ChatGPT (v3.5) 和Phind (v8) 的平均字数分别为 208、391 和 383。

🔬 方法详解

问题定义：论文旨在解决学生在教育场景下可能利用大型语言模型（LLM）作弊的问题，并探索如何利用LLM来促进学生的学习和批判性思维。现有方法要么禁止使用LLM，要么缺乏有效手段来引导学生进行深度思考和知识内化。

核心思路：ProCoT的核心思路是让学生主动参与到与LLM的互动中，并非简单地复制粘贴LLM的输出，而是通过批判性地评估、验证和修正LLM的答案，来促进学生的学习和思考。这种方法旨在将LLM作为一种辅助工具，而不是替代品。

技术框架：ProCoT方法包含以下几个主要步骤：1) 学生选择一个问题；2) 学生使用LLM（如ChatGPT或Phind）生成答案；3) 学生查阅同行评审的参考文献，对LLM的答案进行评估，判断其正确性和完整性；4) 学生根据参考文献的结论，对LLM的答案进行肯定或反驳，并进行必要的修改和补充；5) 学生提交最终的ProCoT输出。

关键创新：ProCoT的关键创新在于其将LLM的使用与批判性思维训练相结合。它不是简单地依赖LLM的输出，而是要求学生主动参与到知识的构建和验证过程中。这种方法能够有效地防止学生作弊，并促进学生的深度学习。

关键设计：ProCoT方法的关键设计包括：1) 问题选择：提供一组精心设计的问题，这些问题需要学生进行深入思考和研究才能回答；2) 参考文献要求：要求学生使用同行评审的参考文献，以确保信息的可靠性和准确性；3) 评估标准：制定明确的评估标准，以评估学生的批判性思维和写作能力。

📊 实验亮点

实验结果表明，ProCoT方法能够显著提升学生的批判性思维和写作能力。与直接使用LLM输出相比，ProCoT输出更具深度和准确性。此外，研究发现学生倾向于使用比LLM更简洁的语言进行表达，这表明ProCoT能够引导学生进行更有效的知识提炼和总结。具体而言，学生平均使用208个词，而ChatGPT和Phind分别使用391和383个词。

🎯 应用场景

ProCoT方法可应用于各种教育场景，特别是需要学生进行批判性思维和写作的课程。它能够帮助教师更好地利用LLM来促进学生的学习，同时防止学生作弊。该方法还可用于企业培训，提升员工的分析和解决问题的能力。未来，ProCoT可以扩展到其他领域，例如科研论文写作和报告撰写。

📄 摘要（原文）

We introduce a novel writing method called Probing Chain-of-Thought (ProCoT), which potentially prevents students from cheating using a Large Language Model (LLM), such as ChatGPT, while enhancing their active learning. LLMs have disrupted education and many other fields. For fear of students cheating, many have resorted to banning their use. These LLMs are also known for hallucinations. We conduct studies with ProCoT in two different courses with 65 students. The students in each course were asked to prompt an LLM of their choice with one question from a set of four and required to affirm or refute statements in the LLM output by using peer-reviewed references. The results show two things: (1) ProCoT stimulates creative/critical thinking and writing of students through engagement with LLMs when we compare the LLM-only output to ProCoT output and (2) ProCoT can prevent cheating because of clear limitations in existing LLMs, particularly ChatGPT, when we compare students' ProCoT output to LLM ProCoT output. We also discover that most students prefer to give answers in fewer words than LLMs, which are typically verbose. The average word counts for students in the first course, ChatGPT (v3.5), and Phind (v8) are 208, 391 and 383, respectively.