WangchanLion and WangchanX MRC Eval

📄 arXiv: 2403.16127v2 📥 PDF

作者: Wannaphong Phatthiyaphaibun, Surapon Nonesung, Patomporn Payoungkhamdee, Peerat Limkonchotiwat, Can Udomcharoenchaikit, Jitkapat Sawatphol, Chompakorn Chaksangchaichot, Ekapol Chuangsuwanich, Sarana Nutanong

分类: cs.CL, cs.AI

发布日期: 2024-03-24 (更新: 2024-04-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出WangchanLion以解决泰语机器阅读理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器阅读理解 泰语处理 指令微调 SEA-LION 上下文理解 开放研究 数据集发布

📋 核心要点

  1. 现有的机器阅读理解模型在泰语处理上存在理解能力不足的问题，尤其是在上下文理解和回答生成方面。
  2. WangchanLion模型通过指令微调，结合SEA-LION架构和多种指令跟随数据集，提升了泰语MRC的性能。
  3. 实验结果显示，WangchanLion在XQuAD和Iapp_wiki_qa_squad数据集上表现优异，尤其在0-shot和1-shot设置下，展现出良好的上下文理解能力。

📝 摘要（中文）

本技术报告描述了WangchanLion的开发，该模型专注于泰语的机器阅读理解（MRC），基于SEA-LION和一系列指令跟随数据集。为了促进开放研究和可重复性，我们公开发布了所有训练数据、代码和最终模型权重，遵循Apache-2许可证。通过对两个泰语MRC数据集XQuAD和Iapp_wiki_qa_squad的广泛实验研究，结果表明该模型在0-shot和1-shot设置下能够理解上下文并生成与参考答案一致的回答。此外，我们提出了一种新的评估方案，评估答案的正确性、帮助性、简洁性和上下文相关性。我们的代码可在https://github.com/vistec-AI/WangchanLion获取。

🔬 方法详解

问题定义：本论文旨在解决泰语机器阅读理解（MRC）中的上下文理解不足和答案生成不准确的问题。现有方法在处理泰语时，往往无法有效理解复杂的上下文信息，导致生成的答案与参考答案不一致。

核心思路：WangchanLion模型通过指令微调，利用SEA-LION架构和多样的指令跟随数据集，旨在提升模型对泰语文本的理解和回答能力。该设计旨在通过丰富的训练数据增强模型的上下文理解能力。

技术框架：整体架构包括数据预处理、模型训练和评估三个主要阶段。在数据预处理阶段，收集并整理了多个泰语指令跟随数据集；在模型训练阶段，采用指令微调技术对SEA-LION进行训练；在评估阶段，使用新提出的评估方案对模型性能进行全面评估。

关键创新：本研究的主要创新在于提出了一种新的评估方案，不仅关注答案的正确性，还考虑答案的帮助性、简洁性和上下文相关性。这一评估方式超越了传统的MRC评估标准。

关键设计：在模型设计中，采用了特定的损失函数以优化答案的生成质量，并通过调节超参数来提高模型的泛化能力。此外，模型的训练过程中使用了多种数据增强技术，以提升模型对不同上下文的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WangchanLion在XQuAD和Iapp_wiki_qa_squad数据集上表现出色，尤其在0-shot和1-shot设置下，模型生成的答案与参考答案的匹配度显著提高，展示了较强的上下文理解能力。具体性能数据尚未披露。

🎯 应用场景

WangchanLion模型在泰语机器阅读理解领域具有广泛的应用潜力，能够用于教育、信息检索和智能问答系统等多个场景。其开放的研究成果和数据集将促进相关领域的进一步研究和应用，推动泰语自然语言处理技术的发展。

📄 摘要（原文）

This technical report describes the development of WangchanLion, an instruction fine-tuned model focusing on Machine Reading Comprehension (MRC) in the Thai language. Our model is based on SEA-LION and a collection of instruction following datasets. To promote open research and reproducibility, we publicly release all training data, code, and the final model weights under the Apache-2 license. To assess the contextual understanding capability, we conducted extensive experimental studies using two Thai MRC datasets, XQuAD and Iapp_wiki_qa_squad. Experimental results demonstrate the model's ability to comprehend the context and produce an answer faithful to the reference one in 0-shot and 1-shot settings. In addition, our evaluation goes beyond the traditional MRC. We propose a new evaluation scheme assessing the answer's correctness, helpfulness, conciseness, and contextuality. Our code is available publicly at https://github.com/vistec-AI/WangchanLion.