Self-Consistent Decoding for More Factual Open Responses

📄 arXiv: 2403.00696v1 📥 PDF

作者: Christopher Malon, Xiaodan Zhu

分类: cs.CL

发布日期: 2024-03-01

💡 一句话要点

提出自一致解码方法以提升开放响应的事实准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放响应生成 自一致性 语言模型 投票机制 事实性提升 文本生成 机器学习

📋 核心要点

  1. 现有的开放响应生成方法在生成的答案准确性上存在不足，尤其是在事实性方面。
  2. 本文提出了一种新的解码方法，名为“样本与选择”，通过投票机制选择输出句子以提高生成的事实准确性。
  3. 实验结果显示，该方法在事实性上相较于其他解码器提高了30%的相对优势，同时保持了良好的ROUGE-1 F1分数。

📝 摘要（中文）

自一致性已成为提高大型语言模型生成短答案准确性的有效方法。本文将这一理念扩展至开放响应生成，通过在解码方法中整合投票机制来实现。每个输出句子基于简单的词元重叠评分，从多个样本中选择，并依赖于之前的选择。我们将这种“样本与选择”方法与贪婪解码、束搜索、核采样以及最近提出的避免幻觉的解码器进行比较。实验结果表明，在FRANK基准的CNN/DM和XSum子集上，该方法在NLI评估中相较于其他解码器提高了30%的事实性，同时在ROUGE-1 F1分数上与参考摘要保持了相当的水平。人类验证结果进一步确认了我们方法的事实优势。

🔬 方法详解

问题定义：本文旨在解决开放响应生成中存在的事实性不足问题。现有方法主要关注最终答案的准确性，未能有效处理生成文本中的信息一致性和准确性问题。

核心思路：论文提出的“样本与选择”方法通过在多个生成样本中进行投票，选择最具事实性的句子，从而提高生成文本的准确性和一致性。该方法利用简单的词元重叠评分来评估句子之间的相似性。

技术框架：该方法的整体流程包括生成多个候选句子，然后基于之前选择的句子进行投票，最终选择出最符合事实的句子。主要模块包括样本生成、选择机制和投票评估。

关键创新：最重要的创新在于将投票机制引入开放响应生成中，显著提升了生成文本的事实性。这一方法与传统的贪婪解码和束搜索等方法在处理信息一致性上有本质区别。

关键设计：在实现过程中，采用了简单的词元重叠评分作为选择标准，确保了生成句子之间的相关性。此外，参数设置和损失函数设计也经过精心调整，以优化生成效果。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，样本与选择方法在NLI评估中相较于其他解码器提高了30%的事实性，同时在ROUGE-1 F1分数上与参考摘要保持相当水平，显示出该方法在开放响应生成中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话生成和内容创作等。通过提高开放响应的事实准确性，可以显著提升用户体验和信息获取的可靠性，未来可能对教育、客服等行业产生深远影响。

📄 摘要（原文）

Self-consistency has emerged as a powerful method for improving the accuracy of short answers generated by large language models. As previously defined, it only concerns the accuracy of a final answer parsed from generated text. In this work, we extend the idea to open response generation, by integrating voting into the decoding method. Each output sentence is selected from among multiple samples, conditioning on the previous selections, based on a simple token overlap score. We compare this "Sample & Select" method to greedy decoding, beam search, nucleus sampling, and the recently introduced hallucination avoiding decoders of DoLA, P-CRR, and S-CRR. We show that Sample & Select improves factuality by a 30% relative margin against these decoders in NLI-based evaluation on the subsets of CNN/DM and XSum used in the FRANK benchmark, while maintaining comparable ROUGE-1 F1 scores against reference summaries. We collect human verifications of the generated summaries, confirming the factual superiority of our method.