Faithful Summarisation under Disagreement via Belief-Level Aggregation

📄 arXiv: 2601.04889v1 📥 PDF

作者: Favour Yahdii Aghaebe, Tanefa Apekey, Elizabeth Williams, Nafise Sadat Moosavi

分类: cs.CL

发布日期: 2026-01-08

💡 一句话要点

提出基于信念层聚合的框架，解决意见型摘要中现有方法忽略观点冲突的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意见摘要 多文档摘要 信念聚合 大型语言模型 观点冲突 忠实性 自然语言生成

📋 核心要点

  1. 现有摘要方法，特别是基于LLM的方法，在处理意见型文本时，倾向于平滑分歧，导致摘要结果无法忠实反映原文。
  2. 论文提出一种新颖的框架，将信念层聚合与语言生成分离，显式建模和处理文档中的冲突观点。
  3. 实验结果表明，该方法在不同模型架构和规模下，均能保持稳定且强大的分歧感知性能，并生成流畅的摘要。

📝 摘要（中文）

意见型和多文档摘要通常涉及真正冲突的观点，但许多现有方法，特别是基于LLM的系统，隐式地平滑了分歧并过度表示了多数意见。这限制了生成摘要在意见密集型环境中的忠实性。我们引入了一种分歧感知的合成流程，该流程将信念层聚合与语言生成分开。文档首先被表示为结构化的信念集，并使用显式建模冲突的基于距离的信念合并算子进行聚合。然后，大型语言模型仅用于将聚合的信念实现为自然语言摘要。我们跨多个模型系列和规模评估了该方法，并将其与在生成期间执行显式聚合的方法进行了比较。结果表明，虽然足够大的模型可以在生成时处理聚合时匹配信念层聚合，但这种行为在架构或容量上并不稳定。相比之下，信念层聚合与简单的提示相结合，可在各种模型中产生一致的强大分歧感知性能，同时保持流畅和有根据的摘要。

🔬 方法详解

问题定义：现有意见型摘要方法，特别是基于大型语言模型的方法，在处理包含冲突观点的文档时，倾向于平滑这些分歧，过度代表多数意见，导致生成的摘要不够忠实。这些方法未能充分捕捉和表达不同意见之间的差异和冲突。

核心思路：论文的核心思路是将摘要生成过程分解为两个阶段：首先，将文档表示为结构化的信念集合，并使用信念合并算子显式地建模和聚合这些信念，从而保留不同意见之间的冲突。然后，利用大型语言模型将聚合后的信念转化为自然语言摘要。这种分离使得模型能够更好地处理和表达冲突观点，从而提高摘要的忠实性。

技术框架：该方法包含两个主要阶段：1) 信念层聚合：首先，将每个文档表示为一个结构化的信念集合。然后，使用基于距离的信念合并算子来聚合这些信念，该算子能够显式地建模和处理信念之间的冲突。2) 语言生成：使用大型语言模型将聚合后的信念转化为自然语言摘要。在这个阶段，LLM主要负责将结构化的信念转化为流畅的自然语言，而不需要处理复杂的观点冲突。

关键创新：该方法最重要的创新点在于将信念层聚合与语言生成分离。通过在信念层显式地建模和聚合冲突观点，该方法能够更好地保留和表达不同意见之间的差异，从而提高摘要的忠实性。与现有方法相比，该方法能够更有效地处理意见型文本中的复杂观点冲突。

关键设计：在信念层聚合阶段，使用了基于距离的信念合并算子。具体采用何种距离度量和合并策略，论文中可能进行了多种尝试和比较。在语言生成阶段，使用了大型语言模型，并通过简单的prompting来指导模型生成摘要。具体的prompt设计和模型选择，以及相关的超参数设置，是影响最终摘要质量的关键因素。

📊 实验亮点

实验结果表明，信念层聚合方法在各种模型架构和规模下，均能保持稳定且强大的分歧感知性能。与直接在生成阶段进行聚合的方法相比，该方法能够更有效地处理意见型文本中的复杂观点冲突，并生成更忠实的摘要。即使使用简单的prompting，该方法也能取得显著的性能提升。

🎯 应用场景

该研究成果可应用于新闻摘要、舆情分析、产品评论总结等领域，尤其是在需要准确反映不同观点和意见的场景下。通过提高摘要的忠实性，该方法可以帮助用户更好地理解和评估信息，避免因信息偏差而做出错误的决策。未来，该方法可以进一步扩展到其他自然语言处理任务中，例如对话生成和文本分类。

📄 摘要（原文）

Opinion and multi-document summarisation often involve genuinely conflicting viewpoints, yet many existing approaches, particularly LLM-based systems, implicitly smooth disagreement and over-represent majority opinions. This limits the faithfulness of generated summaries in opinion-heavy settings. We introduce a disagreement-aware synthesis pipeline that separates belief-level aggregation from language generation. Documents are first represented as structured belief sets and aggregated using distance-based belief merging operators that explicitly model conflict. Large language models are then used only to realise the aggregated beliefs as natural language summaries. We evaluate the approach across multiple model families and scales, comparing it to methods that perform explicit aggregation during generation. Our results show that while sufficiently large models can match belief-level aggregation when aggregation is handled at generation time, this behaviour is not stable across architectures or capacities. In contrast, belief-level aggregation combined with simple prompting yields consistently strong disagreement-aware performance across models, while maintaining fluent and grounded summaries.