CulturalMenuBench: Probing the Knowledge-Application Gap in Multimodal Culinary Reasoning
作者: Bo Zeng, Linfeng Gao, Peiqin Lin, Yu Zhao, Mingyan Zeng, Yu Tong, Xintong Wang, Linlong Xu, Longyue Wang, Weihua Luo, Qinggang Zhang, Jinsong Su
分类: cs.AI
发布日期: 2026-09-03
备注: Accepted to EMNLP 2026 Findings. Code and data: https://github.com/BobTsang-NLP/CulturalMenuBench
💡 一句话要点
提出CulturalMenuBench以解决多模态烹饪推理中的知识应用差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 文化理解 烹饪知识 视觉识别 知识应用 基准测试 模型评估
📋 核心要点
- 现有多模态语言模型在食品识别方面表现优异，但在文化理解和知识应用上存在明显不足。
- 论文提出CulturalMenuBench基准，通过多任务设计探讨模型在烹饪推理中的文化知识应用能力。
- 实验结果显示，模型在文化归属任务中的表现显著低于标准任务，揭示了知识应用的差距和模型的局限性。
📝 摘要（中文）
多模态语言模型在食品识别基准上取得了接近满分的成绩，但这种成功是否反映了真正的文化理解仍不明确。为探讨这一区别，本文提出了CulturalMenuBench，一个涵盖10种语言、18个地区的4870个项目的基准。该基准的10个任务将最终菜品和逐步烹饪图像与原料、程序文本和区域标签配对，涵盖从基本识别到过程基础的文化归属。对12个模型的评估揭示了显著的知识应用差距：尽管在标准选择题任务中模型得分超过94%，但在将菜品归属到中国地方菜系时，得分最多仅为56%。
🔬 方法详解
问题定义：本文旨在解决多模态语言模型在烹饪推理中对文化知识的应用不足问题。现有方法虽然在视觉识别上表现优异，但在文化归属任务中却表现不佳，显示出知识应用的差距。
核心思路：论文的核心思路是通过CulturalMenuBench基准，设计多任务评估模型在烹饪推理中的文化知识应用能力，强调视觉输入与文化知识之间的联系。
技术框架：整体架构包括10个任务，涉及将菜品图像与原料、程序文本和区域标签配对，任务从基本识别到文化归属，旨在全面评估模型的推理能力。
关键创新：最重要的技术创新在于引入了过程基础的文化归属任务，揭示了模型在视觉输入下无法激活文化知识的现象，与现有方法的单一视觉识别任务形成鲜明对比。
关键设计：在实验中，模型的任务设计采用了四选一的格式，关键参数设置和损失函数设计旨在确保模型在不同任务中的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在标准选择题任务中得分超过94%，但在文化归属任务中得分仅为56%，表明知识应用存在显著差距。此外，模型在仅依赖菜名进行分类时，准确率比依赖图像高出7-18个百分点，强调了视觉输入的局限性。
🎯 应用场景
该研究的潜在应用领域包括智能厨房、烹饪助手和文化教育等。通过提升模型对文化知识的理解和应用能力，可以为用户提供更精准的烹饪建议和文化背景信息，促进文化交流与理解。
📄 摘要（原文）
Multimodal language models achieve near-ceiling scores on food recognition benchmarks, yet it remains unclear whether this success reflects genuine cultural understanding or mere visual matching. To probe this distinction, we introduce CulturalMenuBench, a benchmark of 4,870 items in 10 languages across 18 regions; its 10 tasks pair final-dish and step-by-step cooking images with ingredients, procedural text, and regional labels, spanning basic recognition to process-grounded cultural attribution. Evaluating 12 models exposes a substantial knowledge-application gap: models exceeding 94% on standard multiple-choice tasks drop to at most 56% when attributing dishes to Chinese regional cuisines, despite an identical four-way format. Diagnostic analyses explain why: error patterns are consistent with random guessing, accuracy tracks visual distinctiveness rather than cultural structure, and models classify cuisines more accurately from dish names alone than from images (+7-18 points). The knowledge is thus present but cannot be activated through visual input. An ablation confirms these tasks genuinely require procedural evidence: removing sequential cooking images selectively degrades process-grounded tasks while others remain stable. Overall, CulturalMenuBench shows that near-perfect recognition can conceal an inability to apply cultural knowledge, motivating training that explicitly connects perception, procedure, and cultural context. Code and data are publicly available.