OmniScientist: An Omni-Modal Omni-Discipline AI Scientist
作者: Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu
分类: cs.AI, cs.CL
发布日期: 2026-08-13
备注: 30 pages, 13 figures, 19 tables. Project page: https://omni-scientist.github.io/
💡 一句话要点
提出OmniScientist以解决科学发现中的证据获取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态AI 科学发现 自动化研究 证据获取 跨学科研究
📋 核心要点
- 现有AI科学家系统在处理科学发现时，无法有效利用多种证据形式，限制了其推理能力。
- OmniScientist通过引入多模态感知和自主代理，能够从异构原始证据中进行全面的科学研究。
- 在36个真实案例中，OmniScientist实现了从数据到手稿的完整流程，平均得分为6.3，显著优于传统方法。
📝 摘要（中文）
随着基础模型的进步，AI科学家能够自动化完整的研究工作流程，从假设生成到代码执行再到手稿准备。然而，现有系统通常仅在文本、代码、标签或预计算摘要上进行推理，无法获取科学发现所依赖的空间、时间、跨通道和程序关系。本文提出OmniScientist，一个端到端的多模态AI科学家，能够直接从异构原始证据中进行多学科研究。该系统通过感知层和三个自主代理（创意、实验和写作）在确定性管道中运作，使观察结果贯穿研究生命周期，影响研究问题、实验决策和最终结论。实验结果表明，该系统在36个真实数据案例中成功完成从原始数据到编写手稿的全过程，并在评估中表现出显著的优势。
🔬 方法详解
问题定义：本文旨在解决现有AI科学家在科学发现中对证据获取的不足，尤其是无法有效处理多模态证据的问题。现有方法主要依赖文本和预计算特征，缺乏对空间、时间和程序关系的全面理解。
核心思路：OmniScientist的核心思路是构建一个多模态的AI系统，能够直接从异构原始证据中进行研究，利用感知层和自主代理来增强研究的灵活性和全面性。
技术框架：该系统由感知层和三个自主代理（创意、实验和写作）组成，形成一个确定性管道。感知层负责数据的初步处理，代理则在研究生命周期的不同阶段进行决策和生成输出。
关键创新：OmniScientist的主要创新在于其生命周期内的感知能力，使得系统能够实时调整研究问题和实验设计，确保科学发现的证据基础。与现有方法相比，它能够处理更复杂的证据关系。
关键设计：系统设计中包括了对新颖性筛选、统计有效性、执行来源和数值可追溯性的检查机制，确保研究的严谨性和可靠性。
🖼️ 关键图片
📊 实验亮点
在36个真实数据案例中，OmniScientist成功完成从原始数据到编写手稿的全过程，平均得分为6.3。与仅使用预计算特征的盲变量相比，直接感知在7个评估维度上均有提升，85%的对比判断中胜出，显示出其在科学发现中的重要性。
🎯 应用场景
OmniScientist的研究成果在多个领域具有广泛的应用潜力，包括基础科学研究、工程设计、医学研究等。通过自动化处理多模态数据，该系统能够加速科学发现的过程，提高研究的效率和准确性，未来可能推动AI科学家的普及与应用。
📄 摘要（原文）
Recent advances in foundation models have enabled AI scientists to automate increasingly complete research workflows, from hypothesis generation and code execution to manuscript preparation. Yet workflow coverage alone does not provide access to the full evidence on which scientific discovery depends. Existing systems typically reason over text, code, labels, or precomputed summaries, leaving scientifically decisive spatial, temporal, cross-channel, and procedural relations unavailable to the agent. We introduce OmniScientist, an end-to-end, omni-modal AI scientist that conducts multidisciplinary research directly from heterogeneous raw evidence. A perception layer and 3 autonomous agents for ideation, experiment, and writeup operate within a deterministic pipeline, allowing observations to shape research questions, experimental decisions, and final claims throughout the research lifecycle. By running idea, rigour, and claim checks in code, the system enforces novelty screening, statistical validity, execution provenance, and numerical traceability. We evaluate OmniScientist on 36 real-data cases spanning 5 discipline families, 4 families of scientific evidence, and modalities including images, signals, audio, video, 3-D structures, trajectories, tables, formulae, and graphs. The system completes the full path from raw data to a compiled manuscript in all 36 cases and achieves a mean overall paper score of 6.3 with the reference reasoning backbone. In paired comparisons against a blind variant that receives only precomputed scalar features, direct perception improves all 7 evaluation dimensions and wins 85% of head-to-head judgments. These results show that lifecycle-wide perception is essential for evidence-grounded scientific discovery and provides a practical path toward broadly capable AI scientists.