ShutterMuse: Capture-Time Photography Guidance with MLLMs

📄 arXiv: 2606.25763v1 📥 PDF

作者: Jiayu Li, Yixiao Fang, Tianyu Hu, Wei Cheng, Ping Huang, Zheheng Fan, Gang Yu, Xingjun Ma

分类: cs.CV

发布日期: 2026-06-24

备注: Project Page:https://lijayutnt.github.io/ShutterMuse

💡 一句话要点

提出ShutterMuse以解决摄影时指导不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 摄影指导 实时构图 姿势推荐 CaptureGuide-Bench

📋 核心要点

  1. 现有方法在摄影时缺乏有效的构图和姿势指导，导致拍摄效果不佳。
  2. 本文提出CaptureGuide-Bench基准，包含摄影师侧和主体侧的任务，开发了ShutterMuse模型以提升拍摄指导能力。
  3. 实验结果显示ShutterMuse在摄影师侧表现优异，并在主体侧姿势推荐中具有竞争力，推理成本显著降低。

📝 摘要（中文）

现实世界中的摄影需要在拍摄时提供相机构图和主体姿势的指导。然而，现有的美学裁剪基准主要评估后期裁剪预测，忽视了主体侧的建议，导致多模态大语言模型（MLLMs）的拍摄时指导能力未得到充分探索。为此，本文引入了CaptureGuide-Bench，一个包含摄影师侧构图决策与优化及主体侧场景条件姿势推荐的基准。评估结果显示，通用MLLMs能够做出构图决策，但缺乏精确的优化定位，而专门的美学裁剪模型能够有效定位裁剪，但仅限于优化；两者均未提供可操作的姿势指导。为支持模型开发，本文构建了CaptureGuide-Dataset，包含13万样本及文本推理和结构化视觉注释，并开发了ShutterMuse，一个经过监督和强化微调的统一MLLM。实验结果表明，ShutterMuse在摄影师侧表现最佳，并在主体侧姿势推荐中具有竞争力，且推理成本显著降低，展示了MLLMs作为摄影互动助手的潜力。

🔬 方法详解

问题定义：本文旨在解决现有摄影指导方法在拍摄时缺乏有效性的问题，尤其是在构图和主体姿势推荐方面的不足。现有的美学裁剪模型主要关注后期处理，未能提供实时的指导。

核心思路：论文提出CaptureGuide-Bench基准，包含两个互补任务，分别针对摄影师的构图决策和主体的姿势推荐。通过构建CaptureGuide-Dataset，提供丰富的样本和注释，支持ShutterMuse模型的训练。

技术框架：ShutterMuse模型采用统一的多模态大语言模型架构，结合监督学习和强化学习进行微调。模型通过输入图像和文本信息，生成实时的构图和姿势建议。

关键创新：ShutterMuse的创新在于其能够同时处理摄影师和主体的需求，提供实时的构图优化和姿势推荐，克服了现有方法的局限性。

关键设计：模型设计中采用了多层次的注意力机制，以增强对图像和文本信息的理解，同时在损失函数中引入了针对构图和姿势的特定优化目标，以提高模型的指导精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ShutterMuse在CaptureGuide-Bench基准上取得了最佳的摄影师侧表现，相较于其他基线模型，其在主体侧姿势推荐中也展现出竞争力，推理成本显著降低，展示了MLLMs在摄影中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括摄影教育、智能手机摄影助手和专业摄影师的实时指导工具。通过提供实时的构图和姿势建议，ShutterMuse能够显著提升拍摄质量，帮助用户更好地捕捉瞬间。未来，该技术还可能扩展到视频拍摄和其他多媒体创作领域。

📄 摘要（原文）

Real-world photography requires capture-time guidance for both camera framing and subject pose. Yet existing aesthetic cropping benchmarks mainly evaluate post-hoc crop prediction and overlook subject-side recommendations, leaving the capture-time guidance capabilities of multimodal large language models (MLLMs) underexplored. To address this gap, we introduce CaptureGuide-Bench, a benchmark with two complementary tasks: photographer-side composition decision and refinement, and subject-side scene-conditioned pose recommendation. Our evaluation reveals limitations: general-purpose MLLMs can make composition decisions but lack precise refinement localization, while specialized aesthetic cropping models localize crops effectively but are limited to refinement; neither provides actionable pose guidance. To support model development, we further construct CaptureGuide-Dataset, comprising 130K samples with textual rationales and structured visual annotations, and develop ShutterMuse, a unified MLLM trained with supervised and reinforcement fine-tuning. Experiments on CaptureGuide-Bench show that ShutterMuse achieves the best overall photographer-side performance among evaluated baselines and competitive subject-side pose recommendation with substantially lower inference cost, demonstrating the potential of MLLMs as interactive assistants for photography during image capture.