CORTEX: High-Quality Cross-Domain Organization of Web-Scale Corpora through Ontological Corpus Graph
作者: Chengtao Gan, Xiaoke Guo, Yushan Zhu, Zhaoyan Gong, Zhiqiang Liu, Songze Li, Huajun Chen, Wen Zhang
分类: cs.CL
发布日期: 2026-06-29
💡 一句话要点
提出Cortex框架以解决高质量跨域语料库组织问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语料库构建 知识组织 本体语料图 跨域数据 大语言模型
📋 核心要点
- 现有语料构建方法缺乏系统的知识组织，导致生成的语料库质量和结构不佳。
- Cortex框架通过本体语料图（OCG）实现语料库的结构化组织，提升了数据的质量和可用性。
- 实验结果显示，Cortex在多个前沿大语言模型上显著提高了语料库的质量和跨域数据的合成能力。
📝 摘要（中文）
随着大语言模型的不断发展，对数据规模和质量的需求日益增加，而不同训练阶段对数据的要求也愈加细化，因此系统化组织高质量语料库变得不可或缺。现有的语料构建流程将结果局限于平坦、无差异的文档集合，普遍缺乏系统的知识组织。我们提出Cortex，这是首个通过本体语料图（OCG）将网络规模语料构建从平面文档过滤提升到结构化知识组织的框架。OCG是一个三层异构结构，统一了经过质量精炼的内容层、通过大语言模型驱动的自动演化的层次轻量本体层，以及支持任意分类分辨率的跨域对齐层。全面的实验验证了Cortex的有效性，特别是我们利用OCG合成了CortexBench，这是一个跨域搜索与推理基准，其在八个前沿大语言模型上的评估验证了质量精炼、领域组织和跨域数据合成的有效性。我们将公开完整的代码库、一个241.4亿标记的精炼语料及其OCG，以及CortexBench。
🔬 方法详解
问题定义：本研究旨在解决现有语料库构建方法的不足，特别是缺乏系统知识组织的问题，导致生成的语料库质量低且结构单一。
核心思路：Cortex框架的核心思路是通过本体语料图（OCG）将语料库构建从简单的文档过滤提升到结构化的知识组织，以满足不同训练阶段的特定数据需求。
技术框架：Cortex的整体架构包括三个主要模块：质量精炼的内容层、通过大语言模型驱动的层次轻量本体层，以及支持跨域对齐的层。这种三层结构允许对数据进行更细致的组织和管理。
关键创新：Cortex的最大创新在于引入了本体语料图（OCG），实现了语料库的结构化组织，区别于传统的平面文档集合，提升了数据的质量和组织性。
关键设计：在设计中，Cortex采用了多层次的本体结构，并结合大语言模型进行自动演化，确保了语料库的动态更新和质量控制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Cortex在八个前沿大语言模型上的评估中，显著提升了语料库的质量和跨域数据合成能力，验证了其在质量精炼和领域组织方面的有效性，具体性能提升幅度未知。
🎯 应用场景
Cortex框架具有广泛的应用潜力，特别是在自然语言处理、信息检索和知识图谱构建等领域。通过提供高质量的跨域语料库，Cortex能够支持更复杂的模型训练和推理任务，提升人工智能系统的智能水平和应用效果。
📄 摘要（原文）
The continuous evolution of large language models drives escalating demands on data scale and quality, and as different training stages impose increasingly tailored data requirements, systematic organization of high-quality corpora becomes indispensable. Existing corpus construction pipelines confine the resulting corpora to flat, undifferentiated document collections, universally lacking systematic knowledge organization. We present Cortex, to our knowledge the first framework that elevates web-scale corpus construction from flat document filtering to structured knowledge organization through an Ontological Corpus Graph (OCG), a three-layer heterogeneous structure unifying a quality-refined content layer, a hierarchical lightweight ontology layer via LLM-driven automated evolution, and a cross-domain alignment layer enabling inter-domain association at arbitrary taxonomic resolution. Comprehensive experiments confirm the effectiveness of Cortex. In particular, we leverage the OCG to synthesize CortexBench, a cross-domain search-and-reasoning benchmark whose evaluation across eight frontier LLMs validates the effectiveness of quality refinement, domain organization, and cross-domain data synthesis. We will publicly release the complete codebase, a 24.14B-token refined corpus with its OCG, and CortexBench.