FENCE: A Financial and Multimodal Jailbreak Detection Dataset

📄 arXiv: 2602.18154 📥 PDF

作者: Mirae Kim, Seonghun Jeong, Youngjun Kwak

分类: cs.CL, cs.AI, cs.DB

发布日期: 2026-06-12

💡 一句话要点

提出FENCE数据集以解决金融领域的多模态越狱检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱检测 多模态数据集 金融安全 视觉语言模型 大型语言模型 模型训练 数据集构建

📋 核心要点

  1. 越狱对大型语言模型和视觉语言模型的安全性构成了严重威胁，现有检测资源不足，尤其是在金融领域。
  2. FENCE数据集通过双语和多模态设计，结合金融相关查询与图像威胁，提供了有效的训练和评估平台。
  3. 基于FENCE训练的检测器在内部数据集上实现了99%的准确率，并在外部基准测试中表现优异，显示出该数据集的有效性。

📝 摘要（中文）

越狱对大型语言模型（LLMs）和视觉语言模型（VLMs）的部署构成了重大风险，尤其是VLMs因处理文本和图像而面临更广泛的攻击面。然而，现有的越狱检测资源在金融领域尤其稀缺。为此，本文提出了FENCE，一个双语（韩语-英语）多模态数据集，用于训练和评估金融应用中的越狱检测器。FENCE通过与图像相关的金融查询强调领域现实性。实验结果显示，商业和开源VLMs存在一致的脆弱性，GPT-4o的攻击成功率可测，而开源模型的暴露程度更高。基于FENCE训练的基线检测器在内部数据集上达到了99%的准确率，并在外部基准测试中保持强劲表现，凸显了该数据集在训练可靠检测模型方面的稳健性。FENCE为推动金融领域的多模态越狱检测提供了专注的资源，支持在敏感领域中更安全、更可靠的AI系统。

🔬 方法详解

问题定义：本文旨在解决金融领域中多模态越狱检测的不足，现有方法缺乏针对金融应用的专门数据集和检测工具。

核心思路：FENCE数据集通过结合金融相关的文本查询和图像威胁，提供了一个多模态的训练平台，旨在提高越狱检测的准确性和可靠性。

技术框架：FENCE数据集包含双语文本和图像对，设计了多种金融场景下的越狱示例，支持模型的训练和评估。整体流程包括数据收集、标注、模型训练和性能评估。

关键创新：FENCE的创新在于其专注于金融领域的多模态数据集，结合了文本和图像信息，填补了现有越狱检测资源的空白。

关键设计：数据集中的样本经过精心设计，确保涵盖多种金融场景，使用了适当的损失函数和网络结构，以优化检测器的性能。

📊 实验亮点

实验结果表明，基于FENCE训练的检测器在内部数据集上达到了99%的准确率，并在外部基准测试中保持了强劲的性能。这一结果显示了FENCE数据集在提升越狱检测模型可靠性方面的重要性，尤其是在金融领域的应用潜力。

🎯 应用场景

FENCE数据集的潜在应用领域包括金融科技、在线支付安全和金融信息系统等。通过提供高质量的越狱检测资源，该研究有助于提升金融领域AI系统的安全性，降低潜在的安全风险，促进更可靠的金融服务。未来，FENCE可能推动更多行业在多模态安全检测方面的研究与应用。

📄 摘要（原文）

Jailbreaking poses a significant risk to the deployment of Large Language Models (LLMs) and Vision Language Models (VLMs). VLMs are particularly vulnerable because they process both text and images, creating broader attack surfaces. However, available resources for jailbreak detection are scarce, particularly in finance. To address this gap, we present FENCE, a bilingual (Korean-English) multimodal dataset for training and evaluating jailbreak detectors in financial applications. FENCE emphasizes domain realism through finance-relevant queries paired with image-grounded threats. Experiments with commercial and open-source VLMs reveal consistent vulnerabilities, with GPT-4o showing measurable attack success rates and open-source models displaying greater exposure. A baseline detector trained on FENCE achieves 99 percent in-distribution accuracy and maintains strong performance on external benchmarks, underscoring the dataset's robustness for training reliable detection models. FENCE provides a focused resource for advancing multimodal jailbreak detection in finance and for supporting safer, more reliable AI systems in sensitive domains. Warning: This paper includes example data that may be offensive.