MBA: Multimodal Benchmark and Agents for Real-World Business Ideation

📄 arXiv: 2608.11616v1 📥 PDF

作者: Hojun Choi, Jaeyo Shin, Suin Lee, Hyunjung Shim

分类: cs.AI, cs.CV, cs.LG

发布日期: 2026-08-12

备注: Project page: https://hchoi256.github.io/projects/mba/; Code: https://github.com/hchoi256/MBA

💡 一句话要点

提出MBA-Bench以解决多模态商业创意生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 商业创意生成 大型语言模型 图像描述生成 奖励机制优化

📋 核心要点

  1. 现有商业创意生成方法主要依赖文本，未能充分利用多模态信息，限制了其在真实场景中的应用效果。
  2. 本文提出MBA-Bench基准，结合图像和文本信息，利用GPT-4o生成商业创意，提升了多模态代理的训练和评估能力。
  3. 实验结果显示，MBA-b和MBA-k在多个指标上分别比文本基线提升63.9%和77.1%，并在多模态基线中也取得了显著提升。

📝 摘要（中文）

基于大型语言模型（LLMs）的智能系统为商业创意提供了新的机遇。然而，现有方法仍局限于文本单一范式，未能充分考虑现实场景的多模态特性。因此，本文提出了MBA-Bench，这是首个用于训练和评估商业创意代理的多模态基准，包含来自六个领域的30K样本。我们自动为图像生成描述，并利用GPT-4o生成针对三个商业问题的五个参考创意。通过MLLM-as-a-Judge评估代理在六个商业导向标准上的表现，提出了MBA-b和MBA-k以应对标准隐藏或已知的情况。我们引入了创造性和可行性两种新的奖励目标，经过LoRA基础的监督微调和基于组相对策略优化的训练。实验结果表明，MBA-b和MBA-k在多个指标上显著优于现有基线。

🔬 方法详解

问题定义：本文旨在解决现有商业创意生成方法对多模态信息的忽视，导致生成效果不佳的问题。现有方法多依赖文本，无法充分利用图像等其他信息。

核心思路：通过引入多模态基准MBA-Bench，结合图像和文本信息，利用GPT-4o生成商业创意，从而提升代理的生成能力和评估效果。

技术框架：整体架构包括数据采集、图像自动描述生成、商业问题创意生成、以及基于MLLM-as-a-Judge的评估模块。数据集涵盖六个领域，确保多样性和代表性。

关键创新：最重要的创新在于引入了多模态输入和新的奖励目标（创造性和可行性），使得代理在生成创意时能够综合考虑多种信息源，显著提升了生成质量。

关键设计：采用LoRA基础的监督微调方法，结合组相对策略优化，针对不同设置设计了MBA-b和MBA-k，分别优化隐藏和已知标准的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MBA-b和MBA-k在多个指标上表现优异，分别比文本基线提升63.9%和77.1%，在多模态基线中也取得了25.6%和35.8%的提升，显示出多模态输入的显著优势。

🎯 应用场景

该研究的潜在应用领域包括创业孵化、市场调研和产品开发等。通过多模态信息的有效融合，MBA-Bench能够帮助企业更好地挖掘市场机会，提升创意生成的效率和质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Agentic systems powered by large language models (LLMs) have opened new opportunities for business ideation. Yet existing approaches remain confined to a text-only paradigm, despite the inherently multimodal nature of real-world contexts. We thus introduce MBA-Bench, the first multimodal benchmark for training and evaluating business ideation agents, comprising 30K samples across six domains, each domain characterized by distinct visual cues not fully conveyed by text alone. Concretely, we automatically caption images and employ GPT-4o to generate five reference ideas for each of three business questions through retrieval query generation, market evidence retrieval, and evidence-augmented synthesis. Following prior work, we evaluate agents across six business-oriented criteria using MLLM-as-a-Judge. To consider settings where criteria are hidden or disclosed, we present MBA-b and MBA-k for blind and known, respectively. We train both with two novel reward objectives---creativity and feasibility---while MBA-k further optimizes the six disclosed criteria for eight in total. Both are trained via LoRA-based supervised fine-tuning followed by group relative policy optimization with these setting-specific rewards. For extensive experiments on MBA-Bench, we set up two baselines accommodating either captions only or multimodal inputs, with the latter nearing closed-source performance on several metrics. MBA-b and MBA-k outperform caption baselines by 63.9% and 77.1%, and multimodal baselines by 25.6% and 35.8%, respectively.