Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding

📄 arXiv: 2606.31169v1 📥 PDF

作者: Ziqi Li, Zijian Chen, Tingzhu Chen, Guangtao Zhai

分类: cs.CV

发布日期: 2026-06-30

备注: 13 pages, 4 figures

💡 一句话要点

提出S-OBI基准以解决句子级甲骨文理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 甲骨文理解 多模态大语言模型 句子级评估 视觉识别 上下文推理

📋 核心要点

  1. 现有方法主要关注字符级识别，忽视了完整卜辞的上下文和连贯性，导致理解能力受限。
  2. 本文提出S-OBI基准，通过合成标准化的句子级甲骨文实例，评估MLLMs在句子级理解中的表现。
  3. 实验结果表明，当前MLLMs在句子级理解上存在明显不足，尤其在推理过程中容易受到视觉错误的影响。

📝 摘要（中文）

现有的甲骨文视觉识别与理解研究主要集中在字符级，忽视了完整卜辞中长文本的连贯性和上下文依赖性。本文引入S-OBI，一个用于评估多模态大语言模型（MLLMs）在句子级甲骨文理解中的新基准。通过字形替换和组合，S-OBI合成清晰且标准化的句子级甲骨文实例，减少了低级失真的影响，使得对句子级理解的评估更加集中。实验结果显示，当前的MLLMs在句子级甲骨文理解上表现不佳，尤其是在未掩盖区域的视觉感知错误会通过推理链传播，导致对掩盖字符的错误预测，表明当前模型的句子级理解仍然高度依赖于字符级识别。

🔬 方法详解

问题定义：本文旨在解决现有甲骨文理解研究中对字符级的过度依赖，缺乏对句子级上下文的理解能力。现有方法在处理完整卜辞时，无法有效捕捉其语义连贯性和上下文依赖性。

核心思路：通过引入S-OBI基准，合成清晰且标准化的句子级甲骨文实例，替代噪声和不完整的拓片作为视觉输入，从而更好地评估MLLMs在句子级理解中的能力。

技术框架：整体流程包括三个主要模块：1) 字形替换与组合，生成标准化的句子级实例；2) 设计语义匹配、语义槽提取和上下文推理任务；3) 通过695个问答对进行实验评估。

关键创新：S-OBI基准的提出是本研究的核心创新点，它通过合成清晰的句子级实例，克服了传统方法中低级失真的影响，使得对句子级理解的评估更加精准。

关键设计：在字形替换过程中，确保替换的字形来自已有的甲骨文数据集，并保持整体铭文结构和语义组织的完整性。实验中设计了多种任务，以全面评估模型的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前的多模态大语言模型在句子级甲骨文理解上表现不佳，尤其在推理过程中，未掩盖区域的视觉错误会导致对掩盖字符的错误预测，表明模型的句子级理解仍然依赖于字符级识别。具体而言，模型在句子级理解任务中的准确率明显低于预期，显示出需要进一步改进的空间。

🎯 应用场景

该研究的潜在应用领域包括历史文献的自动化解读、文化遗产的数字化保护以及教育领域的智能辅助工具。通过提升对甲骨文的理解能力，能够促进相关研究的深入发展，并为相关领域的应用提供技术支持。

📄 摘要（原文）

Existing AI-assisted oracle bone inscription (OBI) visual recognition and understanding studies mainly focus on character-level, ignoring the long-form textual coherence and contextual dependencies embedded in complete divination charges. Recently, the powerful visual perception capabilities of multimodal large language models (MLLMs) have opened new possibilities for OBI information processing. In this work, we introduce S-OBI, a novel benchmark for evaluating MLLMs in Sentence-level OBI understanding. Instead of using noisy and incomplete rubbings as the visual input, S-OBI synthesizes clear and standardized sentence-level OBI instances through glyph substitution and composition. According to 95 original rubbings with translations that have been identified, corrected, and verified by experts, we replace characters in the original rubbings with corresponding clean glyph samples sourced from existing OBI datasets while preserving the overall inscriptional structure and semantic organization. This mitigates the influence of low-level distortions and enables a more focused evaluation of sentence-level OBI understanding. Based on this, we design semantic matching, semantic slot extraction, and contextual reasoning tasks and obtain 695 question-answer pairs. Experiments reveal the inferiority of contemporary MLLMs on sentence-level OBI understanding. In particular, visual perception errors in unmasked regions propagate through the reasoning chain, leading to erroneous predictions for masked characters, which indicates that sentence-level OBI understanding in current models remains strongly dependent on character-level recognition. Overall, S-OBI provides a diagnostic benchmark for evaluating whether MLLMs can move beyond isolated character recognition toward structured inscription-level understanding.