Modelpedia: A Catalog of Model Findings for the Meta-Science of AI

📄 arXiv: 2609.01090v1 📥 PDF

作者: Franciszek Bernat, Dawid Płudowski, Michał Jan Włodarczyk, Luca Longo, Jianlong Zhou, Andreas Holzinger, Riccardo Guidotti, Wojciech Samek, Przemysław Biecek

分类: cs.LG

发布日期: 2026-09-01

备注: For the website, see: https://credibleai.github.io/modelpedia For the codebase, see: https://github.com/CredibleAI/modelpedia

💡 一句话要点

提出Modelpedia以解决AI模型知识组织问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI模型 知识组织 自动化提取 大语言模型 元科学 公共目录 信息链接

📋 核心要点

  1. 核心问题：现有的AI模型研究成果分散，缺乏有效的组织和检索机制，导致知识难以共享。
  2. 方法要点：提出Modelpedia框架，通过自动化和LLM辅助提取模型发现，并建立可搜索的公共目录。
  3. 实验或效果：在ICLR 2024和2025论文中提取超过一千个发现，进行元分析，展示社区对模型研究的方式。

📝 摘要（中文）

随着AI模型的快速发展，科学知识的产生速度超过了社区的组织能力。新的基础模型不断涌现，数以百计的论文、博客和技术报告记录了模型的表现和缺陷，但这些发现往往分散且难以检索。为了解决这一问题，本文提出了Modelpedia，一个自动化的、基于大语言模型的框架，能够从已发表的论文中提取关于模型的发现，并将其与相关模型、数据集、方法和概念链接，最终汇总成一个可搜索的公共目录。通过对ICLR 2024和2025年接受论文的原型应用，我们提取了超过一千个发现，并对目录本身进行了元分析，探讨了社区如何研究模型。我们邀请社区探索、贡献并基于这一开放目录进行构建，以帮助建立模型发现作为AI元科学的共享基础。

🔬 方法详解

问题定义：当前AI模型的研究成果分散且难以检索，导致科学知识无法有效组织和共享。现有方法无法及时整合新出现的模型表现和缺陷信息。

核心思路：Modelpedia通过自动化和大语言模型的辅助，系统地提取和链接关于模型的研究发现，旨在建立一个集中化的知识库，便于研究者获取和使用相关信息。

技术框架：该框架包括数据提取、信息链接和目录构建三个主要模块。首先，从已发表的论文中提取相关信息；其次，将提取的信息与模型、数据集和方法进行关联；最后，构建一个可搜索的公共目录。

关键创新：Modelpedia的创新在于其自动化提取和链接能力，利用大语言模型提高信息处理效率，与传统手动整理方法相比，显著提升了知识组织的速度和准确性。

关键设计：在设计中，采用了特定的参数设置以优化信息提取过程，使用了适合的损失函数来提高模型的准确性，并设计了高效的网络结构以支持大规模数据处理。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在对ICLR 2024和2025年接受论文的实验中，Modelpedia成功提取了超过一千个模型发现，展示了其在信息整合和知识组织方面的有效性。这一成果为AI模型的研究提供了新的视角和工具，促进了社区对模型的深入理解。

🎯 应用场景

Modelpedia的潜在应用领域包括学术研究、AI模型开发和技术报告撰写等。通过提供一个集中化的知识库，研究者可以更方便地获取模型表现的相关信息，从而加速研究进展和技术创新。未来，该平台有望成为AI领域知识共享的重要基础设施。

📄 摘要（原文）

Scientific knowledge about AI models is produced faster than the community can organize it. Every few months a new foundation model reshapes the field and hundreds of papers, blogs, and technical reports document how each behaves or fails. Yet, these findings remain scattered and effectively unretrievable. To address this gap we present Modelpedia, an automated, LLM-assisted framework that extracts findings about models from published papers, links it to the model, dataset, method, and concept it concerns, and aggregates the result into a searchable public catalog. Applying the prototype to accepted ICLR 2024 and 2025 papers, we extract over a thousand findings and, treating the catalog itself as an object of study, run a meta-analysis of how the community investigates models. Now, we invite the community to explore, contribute to, and build on the open catalog, and to help establish model findings as a shared foundation for the meta-science of AI.