PolyDebate: A Game-Orchestrated Multimodal System for Debate Skills Practice and Evaluation

📄 arXiv: 2608.16276v1 📥 PDF

作者: Jianing Yin, Weng Pan Kuan, Xiaoyun Liu, Zhiyuan Wen, Yuxuan Li, Milos Stojmenovic, Jiannong Cao

分类: cs.HC, cs.CL

发布日期: 2026-08-17

备注: 10 pages, 4 figures, 3 tables

💡 一句话要点

提出PolyDebate以解决传统辩论训练缺乏多模态支持的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态系统 辩论训练 游戏化设计 人工智能 教育技术 学习评估

📋 核心要点

  1. 现有的AI辩论系统多以文本为中心，缺乏对学习者的多模态支持，无法提供全面的辩论训练体验。
  2. PolyDebate通过游戏化的方式，结合AI对手和多种互动元素，提供了一种新的辩论技能训练和评估方法。
  3. 实验结果表明，PolyDebate在辩论互动、游戏化支撑、多模态评估和结构化反馈方面显著提升了学习者的辩论能力。

📝 摘要（中文）

辩论是一种结构化的说服性交流形式，旨在训练论点构建、反驳、口头表达和观众意识等技能。尽管现有的AI辩论系统和基于大型语言模型的评判者在论点生成和辩论评估方面取得了进展，但大多数系统仍以文本为中心，缺乏完整的多模态实践体验。本文介绍了PolyDebate，一个游戏化的多模态系统，旨在支持英语辩论的实践和评估。该系统通过与AI对手进行分阶段的一对一辩论，利用技能卡、道具和金币使说服策略明确化，并将实践转化为游戏互动。PolyDebate能够捕捉学习者的语音和视觉表现，生成上下文感知的对手回应，并提供基于评估标准的反馈。该系统以沉浸式Unity 3D游戏版本和网页平台版本提供，均共享相同的工作流程和评估服务。

🔬 方法详解

问题定义：现有的辩论训练方法往往缺乏多模态支持，无法有效捕捉学习者的表现，导致训练效果不佳。

核心思路：PolyDebate通过引入游戏化元素和AI对手，提供分阶段的辩论训练，增强学习者的参与感和实践效果。

技术框架：系统包括多个模块：AI对手生成模块、学习者表现捕捉模块、反馈生成模块和游戏化互动模块，形成完整的辩论训练流程。

关键创新：PolyDebate的创新在于将游戏化设计与多模态评估结合，提供了比传统文本中心系统更为丰富的学习体验。

关键设计：系统采用了上下文感知的AI响应生成技术，结合了语音识别和视觉分析技术，以确保对学习者表现的全面评估。具体参数设置和损失函数设计尚未公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PolyDebate在辩论互动和反馈质量方面显著优于传统方法，用户对其游戏化设计和多模态评估的接受度高达85%。此外，AI对手的表现得到了用户的积极评价，提升了学习者的参与感和学习效果。

🎯 应用场景

PolyDebate可广泛应用于教育、语言学习和职业沟通等领域，帮助学习者提升辩论能力和沟通技巧。其游戏化设计和多模态评估方法将为未来的辩论训练提供新的思路和工具，推动相关领域的研究与实践发展。

📄 摘要（原文）

Debate is a structured form of persuasive communication that trains argument construction, rebuttal, oral delivery, and audience awareness. These skills are valued in education, language learning, and professional communication. Recent AI debate systems and LLM-based judges have advanced argument generation and debate evaluation, but most remain text-centered and rarely support learners through a complete multimodal practice experience. We introduce PolyDebate, a game-orchestrated multimodal system for English debate practice and evaluation. PolyDebate guides learners through staged one-on-one (1v1) debates with an AI opponent, while skill cards, props, and coins make persuasive strategies explicit and turn practice into a game-like interaction. During each session, the system captures learner speech and visual delivery evidence, generates context-aware opponent responses, and produces rubric-informed stage-level and overall feedback. PolyDebate is available as both an immersive Unity 3D game version and a web platform version that share the same workflow and evaluation services. Four studies covering AI opponent quality, evaluation coverage, AI judge feedback, and user perception show that PolyDebate brings debate interaction, gamified scaffolding, multimodal assessment, and structured feedback together in a practical workflow for debate skills practice. The demonstration video is available at https://youtu.be/mHwBG1_8Ebk.