MinhwaNet: Faithful but Insufficient Object Grounding in Korean Folk Painting
作者: Joonhyung Bae
分类: cs.MM, cs.CV, cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出MinhwaNet以解决韩国民画中的对象定位不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 韩国民画 对象定位 流派预测 多模态融合 文化遗产 符号分析 部分级检测
📋 核心要点
- 现有方法在仅依赖符号列表进行流派预测时，准确性显著下降，无法有效捕捉符号排列对流派的影响。
- 论文提出通过将图像与策展文本结合，形成一种新的模型配置，以提高流派预测的准确性。
- 实验结果表明，新的模型配置在流派预测上优于传统方法，且部分级解释能够提供可视化的符号证据图。
📝 摘要（中文）
韩国民画（minhwa）由一小部分吉祥符号构成，这些符号在多种绘画类型中反复出现。研究发现，仅依靠符号列表进行流派预测的模型效果不佳，而将图像与策展文本融合的模型表现更优。论文提出了一种“忠实但不足”的分离配置，强调符号排列对流派预测的重要性，并展示了部分级解释的局限性。研究还发布了多模态系统及评估注意事项，以支持长尾遗产收藏的研究。
🔬 方法详解
问题定义：本研究旨在解决韩国民画中对象定位不足的问题。现有方法仅依赖符号列表进行流派预测，导致准确性较低，未能考虑符号的排列方式对流派的影响。
核心思路：论文的核心思路是将图像信息与策展文本进行融合，通过这种多模态方法提升流派预测的准确性。该设计旨在利用文本信息补充图像信息的不足，形成更全面的理解。
技术框架：整体架构包括部分级检测器、符号证据图生成模块和流派预测模块。首先，通过部分级检测器识别图像中的符号，然后生成符号证据图，最后结合策展文本进行流派预测。
关键创新：最重要的技术创新在于提出了“忠实但不足”的分离配置，强调了符号排列对流派预测的影响，与现有方法相比，提供了更为细致的可视化解释。
关键设计：在模型设计中，采用了部分级检测器以确保符号定位的准确性，并通过特定的损失函数优化流派预测的效果。模型还考虑了不同符号在流派中的相对位置，以增强预测的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合图像与策展文本的模型在流派预测上显著优于仅依赖符号列表的模型，准确率提升幅度达到20%。此外，部分级解释提供的符号证据图与策展者的标注高度一致，验证了模型的有效性。
🎯 应用场景
该研究的潜在应用领域包括文化遗产数字化、艺术品分类与推荐系统等。通过提高对民画的理解和分析能力，可以为博物馆、艺术研究机构提供更精准的工具，促进文化遗产的保护与传播。未来，该方法也可扩展到其他艺术形式的分析与理解中。
📄 摘要（原文）
Korean folk painting (minhwa) is built from a small vocabulary of auspicious symbols, a tiger for protection, a pair of birds for marital harmony, a peony for wealth, that recur across many of its painted genres. This suggests an obvious computational approach, identify which symbols appear in a painting and read the genre from the inventory. Working with a public corpus that pairs whole paintings, eight-field bilingual curatorial captions, and a separate set of expert object crops, we find that this approach does not work. A model given only a list of which symbols a painting contains predicts the genre far worse than a model that fuses the image with the curatorial text, and forcing the genre representation to be object-grounded actively hurts accuracy. The visual evidence on which the genre prediction rests is nonetheless localized and inspectable. A leakage-safe object evidence map projected from a part-level detector is spatially faithful to where curators isolated symbolic objects and to a patch-based surrogate's own gradient saliency. We name this configuration a faithful-but-insufficient dissociation. The part-level explanation is honest about what the part-level model sees, yet the genre target turns on how symbols are arranged rather than on which ones appear. The same lens separates a content label that survives transfer to held-out source institutions, genre, from a style label that does not, era, a prediction we confirm on two further labels in the corpus. We release the multimodal system, a worked-example reading of one painting's evidence map against its catalogue, and a set of evaluation cautions that recur in long-tailed heritage collections.