KhatianDoc: A Human-Verified Benchmark Diagnosing Multimodal LLM Failure on Bengali Legal Land Records
作者: Tasmiad Hasan, Arafat Zaman Ratul, Sarker Sadman Saalim, S. M. Shah Nawaz Hossain, Khan Raiyan Ibne Reza, Sumaiya Tabassum Nimi
分类: cs.CL
发布日期: 2026-09-03
备注: 12 pages, 5 figures, 11 tables, NLLP Workshop @ EMNLP 2026. Dataset: https://huggingface.co/datasets/RaiyanKhaan/KhatianDoc
💡 一句话要点
提出KhatianDoc基准以解决孟加拉法律土地记录的多模态LLM识别问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 法律文档处理 土地记录 机器学习基准 符号识别 数据转换 问答系统
📋 核心要点
- 现有的多模态LLM在处理孟加拉法律土地记录时面临严重挑战，尤其是在符号识别和数据转换方面。
- 论文提出KhatianDoc基准，专注于评估多模态LLM在处理特定法律文档任务中的能力，提供了真实且经过验证的数据集。
- 实验结果显示，五个问答类别中，所有模型均未能正确回答，且在算术任务上表现不佳，揭示了能力缺口。
📝 摘要（中文）
孟加拉国的土地所有权记录采用Ana-Ganda-Kora-Kranti-Til这一独特的16进制分数系统，缺乏主流字体和OCR支持。本文提出KhatianDoc基准，包含107份真实的RS Khatian记录，涵盖符号识别、16进制转十进制、结构化字段提取和法律文档问答等四个任务。通过人工转录和法律专业人士验证的真实数据，评估六种多模态LLM在零-shot协议下的表现，结果显示大多数模型在关键任务上未能取得有效结果，揭示了当前系统的能力缺失。
🔬 方法详解
问题定义：本文旨在解决多模态LLM在读取和理解孟加拉法律土地记录时的能力不足，现有方法未能有效处理特定的符号和数据格式。
核心思路：通过构建KhatianDoc基准，提供真实的RS Khatian记录，评估模型在符号识别、数据转换和问答等任务上的表现，确保数据的真实性和可靠性。
技术框架：KhatianDoc基准包含四个主要任务：符号识别、16进制到十进制的转换、结构化字段提取和法律文档问答，使用107份真实记录和1,634个问答对进行评估。
关键创新：该研究的创新在于提供了一个专门针对孟加拉法律文档的基准，填补了现有多模态LLM在特定领域应用的空白，且所有数据均经过法律专业人士验证。
关键设计：在数据处理上，采用手动转录和匿名化技术，确保数据的隐私性和准确性，同时在评估过程中修正了拒绝评分的错误，提供了更为准确的性能指标。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在五个问答类别中，所有模型均未能正确回答，且在算术任务上，所有发出数字的模型表现均低于常数均值基线，揭示了当前系统在处理特定法律文档时的能力缺失。
🎯 应用场景
KhatianDoc基准的提出为法律文档处理、土地管理和相关领域的人工智能应用提供了重要的参考，未来可用于提升多模态LLM在特定领域的应用能力，促进法律技术的发展。
📄 摘要（原文）
Land ownership in Bangladesh is recorded in Ana-Ganda-Kora-Kranti-Til, a base-16 positional fraction system with dedicated Unicode glyphs, no mainstream font, and no coverage in any OCR pipeline or tokenizer. The handwritten records that carry these fractions, RS Khatians, are the authoritative title record for millions of parcels and a frequent subject of civil litigation, yet no benchmark has asked whether a machine can read one. We introduce KhatianDoc, a four-task benchmark built from 107 real RS Khatian records from the Vumi (land) Office of Munshiganj, Bangladesh: symbol recognition, base-16-to-decimal conversion, structured field extraction, and legal document question answering over 1,634 QA pairs. Ground truth was transcribed by hand, verified by a land-law practitioner to full agreement, and anonymized through positional tokens that keep the referential distinctions multi-hop questions depend on. We evaluate six multimodal LLMs (8B to 72B+, open and closed) under a fixed zero-shot protocol. Five QA categories, 39.3% of our stratified set, return zero correct answers from every model; on the arithmetic task, every model that emits a number does worse than a constant-mean baseline, with exact- and near-match scores coinciding: decorrelation, not approximation. Auditing our own metrics surfaced two artifacts in opposite directions: we correct a refusal-scoring bug and report the fixed scores beside the originals, and flag an inflated metadata metric as an upper bound. KhatianDoc documents not a performance gap but the absence of a capability, with verified ground truth for future systems. Code and data, with a redacted image release, are publicly available.