A General-Purpose VLM Can Teach an Astronomy Foundation Model to Better Recognize Galaxy Morphology

📄 arXiv: 2608.02300v1 📥 PDF

作者: Dichang Zhang, Jiaqi Deng, Yixuan Shao, Yuanpeng Liu, Jiali Cui, Zhiqiang Lao, Heather Yu, Liang Peng, Simon Birrer, Dimitris Samaras

分类: cs.CV

发布日期: 2026-08-03

备注: 12 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出通用VLM以提升天文学基础模型的星系形态识别能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 星系形态识别 视觉问答 弱监督学习 天文学基础模型 通用VLM 数据标注效率 机器学习

📋 核心要点

  1. 现有天文学基础模型在新调查条件下的适应性不足，且在特定形态识别任务中需要大量人工监督。
  2. 本文提出利用通用VLM作为形态教师，提供弱监督以改善Zoobot的星系形态分类能力。
  3. 实验结果表明，在不同调查领域和标注预算下，VLM教师显著提升了Zoobot的分类性能。

📝 摘要（中文）

现有的天文学基础模型在星系表示方面表现出色，但在适应新调查条件和特定形态识别任务时仍需大量人工监督。本文展示了基于VLM的视觉问答系统包含有意义的视觉-语义先验，可以作为下游形态分类器的弱监督，改善在有限人工标注预算下的形态分类。我们首先引入一个面向调查的VQA基准，评估了最先进的VLM在星系形态问题上的表现。结果表明，这些模型捕捉到了有用的形态信号和信息性不确定性，但不足以替代人工标注。基于此，我们使用通用VLM作为Zoobot的形态教师，Zoobot是一个在大规模Galaxy Zoo注释上预训练的天文学基础模型。在两个调查领域和多个标注预算下，VLM教师持续改善了Zoobot的下游形态分类。这些结果表明，通用VLM提供了对天文学基础模型的补充知识，并能在有限人工监督下帮助其更好地识别星系形态。

🔬 方法详解

问题定义：本文旨在解决现有天文学基础模型在新调查条件下适应性不足的问题，尤其是在星系形态识别任务中对人工标注的依赖过重。

核心思路：通过引入通用VLM作为形态教师，利用其视觉-语义先验知识为下游形态分类器提供弱监督，从而减少对人工标注的需求。

技术框架：整体架构包括一个调查导向的VQA基准和Zoobot模型。VQA基准用于评估VLM在星系形态问题上的表现，而Zoobot则在此基础上进行形态分类。

关键创新：最重要的创新在于将通用VLM与天文学基础模型结合，形成一种新的知识传递机制，使得模型在有限的人工监督下仍能有效提升分类性能。

关键设计：在模型设计中，采用了多种标注预算设置，并通过对比实验验证了VLM教师在不同条件下对Zoobot的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通用VLM教师在两个调查领域中显著提升了Zoobot的星系形态分类性能。在多个标注预算下，Zoobot的分类准确率提高了X%（具体数据未知），验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括天文学中的大规模星系调查，尤其是即将到来的Vera C. Rubin天文台的时间与空间遗产调查（LSST）和南希·格蕾丝·罗曼空间望远镜。通过减少对人工标注的依赖，该方法可提高数据处理效率，促进天文学研究的进展。

📄 摘要（原文）

Existing astronomy foundation models provide strong galaxy representations, but adapting them to new survey conditions and survey-specific morphology recognition tasks still requires substantial human supervision. We show that VLM-based VQA systems contain meaningful visual-semantic priors that can serve as weak supervision for downstream morphology classifiers and improve morphology classification under limited human-label budgets. We first introduce a survey-oriented VQA benchmark spanning two representative imaging regimes and evaluate state-of-the-art VLMs on galaxy morphology questions. The results show that these models capture useful morphology signals and informative uncertainty, but are not sufficiently reliable to replace human annotators. Motivated by this finding, we use a general-purpose VLM as a morphology teacher for Zoobot, an astronomy foundation model pretrained on large-scale Galaxy Zoo annotations. Across two survey domains and multiple annotation budgets, the VLM teacher consistently improves Zoobot's downstream morphology classification. These results demonstrate that a general-purpose VLM provides knowledge complementary to an astronomy foundation model and can teach it to better recognize galaxy morphology under limited human supervision. The resulting pipeline is designed for label-efficient adaptation to forthcoming large-scale surveys, including the Vera C. Rubin Observatory's Legacy Survey of Space and Time (LSST) and the Nancy Grace Roman Space Telescope. The benchmark and code are publicly available at https://github.com/fw-ic/VLM-morphology-teacher.