FinCap: Topic-Aligned Captions for Short-Form Financial YouTube Videos

📄 arXiv: 2509.25745v1 📥 PDF

作者: Siddhant Sukhani, Yash Bhardwaj, Riya Bhadani, Veer Kejriwal, Michael Galarnyk, Sudheer Chava

分类: cs.CV, cs.CL, cs.MM

发布日期: 2025-09-30

备注: ICCV Short Video Understanding Workshop Paper

💡 一句话要点

FinCap：提出主题对齐的金融短视频字幕生成方法，解决多模态信息融合难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融短视频 多模态学习 字幕生成 主题对齐 大型语言模型

📋 核心要点

  1. 现有方法在金融短视频理解中，难以有效融合多模态信息，导致字幕生成质量不高。
  2. 论文提出一种基于多模态大型语言模型的主题对齐字幕生成方法，旨在更好地捕捉视频中的视觉上下文和情感线索。
  3. 实验结果表明，视频模态在多个主题上表现出色，且选择性模态组合优于全模态融合，为金融短视频字幕生成提供了新思路。

📝 摘要（中文）

本文评估了多模态大型语言模型（MLLM）在金融短视频（SV）中生成主题对齐字幕的能力，通过联合推理文本（T）、音频（A）和视频（V）信息进行测试。使用624个带标注的YouTube SV，评估了所有七种模态组合（T、A、V、TA、TV、AV、TAV）在五个主题上的表现：主要推荐、情感分析、视频目的、视觉分析和金融实体识别。结果表明，仅视频在五个主题中的四个上表现出色，突显了其在捕捉视觉上下文和有效线索（如情感、手势和肢体语言）方面的价值。选择性模态对（如TV或AV）通常优于TAV，表明过多模态可能会引入噪声。这些结果为金融短视频字幕生成建立了首个基线，并展示了在该领域中扎根复杂视觉线索的潜力和挑战。所有代码和数据均可在Github上找到，采用CC-BY-NC-SA 4.0许可。

🔬 方法详解

问题定义：论文旨在解决金融短视频字幕生成问题，现有方法难以有效利用视频、音频和文本等多模态信息，导致生成的字幕无法准确反映视频的主题和内容。尤其是在金融领域，视频中包含大量视觉信息（例如图表、人物表情、手势等），这些信息对于理解视频至关重要，但传统方法往往忽略了这些信息，或者简单地将所有模态的信息进行融合，导致噪声的引入。

核心思路：论文的核心思路是探索不同模态组合在金融短视频字幕生成中的作用，并发现最佳的模态组合方式。作者认为，并非所有模态的信息都对所有主题都有用，因此需要根据不同的主题选择合适的模态组合。例如，对于情感分析，视频模态可能比文本模态更重要，因为视频中包含人物的表情和肢体语言等信息。

技术框架：论文使用多模态大型语言模型（MLLM）作为基础框架，并针对金融短视频的特点进行了调整。整体流程包括：1) 提取视频、音频和文本的特征；2) 将不同模态的特征进行组合；3) 使用MLLM生成字幕；4) 评估生成的字幕在不同主题上的表现。作者尝试了所有七种模态组合（T、A、V、TA、TV、AV、TAV），并比较了它们在五个主题上的表现。

关键创新：论文的关键创新在于：1) 首次将多模态大型语言模型应用于金融短视频字幕生成；2) 探索了不同模态组合在不同主题上的作用，并发现选择性模态组合优于全模态融合；3) 构建了一个包含624个带标注的金融短视频数据集，为该领域的研究提供了基准。

关键设计：论文的关键设计包括：1) 使用预训练的多模态大型语言模型，以提高模型的泛化能力；2) 针对不同的主题，设计不同的损失函数，以优化模型的性能；3) 对数据集进行细致的标注，包括主要推荐、情感分析、视频目的、视觉分析和金融实体识别等五个主题。

📊 实验亮点

实验结果表明，仅使用视频模态在四个主题上表现出色，突显了视觉信息的重要性。选择性模态组合（如TV或AV）通常优于全模态融合（TAV），表明过多模态可能引入噪声。这些发现为金融短视频字幕生成提供了重要的指导，并为未来的研究指明了方向。

🎯 应用场景

该研究成果可应用于金融短视频内容理解、智能推荐、风险预警等领域。通过生成高质量的主题对齐字幕，可以帮助用户快速理解视频内容，提高信息获取效率。此外，该技术还可以用于自动审核金融短视频内容，识别潜在的风险和违规行为，保障金融市场的稳定。

📄 摘要（原文）

We evaluate multimodal large language models (MLLMs) for topic-aligned captioning in financial short-form videos (SVs) by testing joint reasoning over transcripts (T), audio (A), and video (V). Using 624 annotated YouTube SVs, we assess all seven modality combinations (T, A, V, TA, TV, AV, TAV) across five topics: main recommendation, sentiment analysis, video purpose, visual analysis, and financial entity recognition. Video alone performs strongly on four of five topics, underscoring its value for capturing visual context and effective cues such as emotions, gestures, and body language. Selective pairs such as TV or AV often surpass TAV, implying that too many modalities may introduce noise. These results establish the first baselines for financial short-form video captioning and illustrate the potential and challenges of grounding complex visual cues in this domain. All code and data can be found on our Github under the CC-BY-NC-SA 4.0 license.