GENEB: Why Genomic Models Are Hard to Compare

📄 arXiv: 2606.04525 📥 PDF

作者: Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

分类: cs.CL, cs.LG, bio.GN

发布日期: 2026-06-12

💡 一句话要点

提出GENEB以解决基因组模型比较困难的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基因组模型 评估基准 机器学习 模型比较 探测协议 任务分类 数据预处理

📋 核心要点

  1. 现有基因组模型的评估面临基准测试碎片化和评估协议不兼容等挑战，导致模型间比较困难。
  2. 本文提出GENEB，一个大规模的诊断基准，采用统一的探测协议评估40个基因组模型在100个任务上的表现。
  3. 实验结果表明，模型排名在不同任务类别间波动较大，规模和架构的影响不如预期，强调了评估方法的局限性。

📝 摘要（中文）

基因组基础模型的进展难以评估，原因在于基准测试的碎片化、评估协议的不兼容以及任务特定的报告方式。因此，模型之间的优越性或通用性往往无法直接比较。为此，本文提出了GENEB，这是一个大规模的诊断基准，旨在通过统一的探测协议评估来自40个基因组基础模型的冻结表示，涵盖100个任务和13个功能类别。GENEB使得在模型规模、架构、标记化和预训练数据之间进行受控比较成为可能，同时明确暴露任务级别的权衡。我们的分析显示，聚合排行榜不稳定：模型排名在任务类别之间变化剧烈，规模仅提供适度且不一致的增益，而架构和预训练的一致性常常超过参数数量的影响。这些结果突显了当前评估实践的局限性，并将GENEB定位为基因组机器学习中原则性比较和类别感知模型选择的参考框架。

🔬 方法详解

问题定义：本文旨在解决基因组模型评估中的比较困难，现有方法由于基准测试碎片化和评估协议不兼容，导致模型间的优越性难以直接比较。

核心思路：论文提出GENEB，通过统一的探测协议对多个基因组模型进行系统评估，涵盖多种任务和功能类别，从而实现可控的比较。

技术框架：GENEB的整体架构包括任务选择、模型评估和结果分析三个主要模块。任务选择涵盖13个功能类别，模型评估则针对40个基因组模型进行性能测试，最后通过分析结果揭示模型间的比较关系。

关键创新：GENEB的最大创新在于其统一的评估框架，能够在不同模型规模、架构和预训练数据之间进行系统比较，且明确展示任务级别的权衡，这在现有方法中是缺乏的。

关键设计：在设计上，GENEB采用了探测协议，允许在少量样本的情况下进行评估，并通过控制变量的方式，确保各项比较的公平性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GENEB能够有效揭示模型在不同任务类别间的表现差异，模型排名在任务类别间波动显著，且规模的提升带来的增益有限。这些发现强调了当前评估方法的不足，并为未来的研究提供了新的方向。

🎯 应用场景

GENEB的研究成果在基因组机器学习领域具有广泛的应用潜力，可以为基因组模型的选择和优化提供科学依据，促进基因组学研究的进展。此外，该框架也可为其他领域的模型评估提供参考，推动跨领域的模型比较与选择。

📄 摘要（原文）

Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.