Aligning MLLMs with the Latent Structure of Human Cognition via Behavior-Derived Semantic Dimensions

📄 arXiv: 2610.41951v1 📥 PDF

作者: Ning E, Changde Du, Yizhuo Lu, Huiguang He

分类: cs.CL, cs.AI

发布日期: 2026-10-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种新框架以对齐多模态大语言模型与人类认知结构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 人类认知 语义嵌入 相似性判断 行为导向 模型对齐 可解释性

📋 核心要点

  1. 现有的多模态大语言模型在推理任务中表现优异，但其内部决策标准与人类认知结构的对齐程度尚不明确。
  2. 本研究提出了一种新框架，通过行为导出的语义维度来对齐MLLMs与人类的相似性判断，增强模型的解释性和一致性。
  3. 实验结果显示，该方法在提高模型与人类判断一致性的同时，仍能在标准多模态基准上保持竞争力的性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）在多种推理任务中表现出色，但其内部表示与人类认知的潜在结构是否一致仍不明确。本研究提出了一种新框架，通过行为导出的语义维度对齐MLLMs与人类相似性判断的多维心理表征。我们基于4.70百万个人的Odd-One-Out（O1O）判断构建了66个可解释维度的语义嵌入空间。通过推断每个三元组中最显著的决策维度，并将其转化为基于维度的语言理由，使得MLLMs能够学习最终选择及与推断的行为标准一致的理由。实验结果表明，该方法提高了模型与人类相似性判断的一致性，同时在标准多模态基准上保持了竞争力的表现。

🔬 方法详解

问题定义：本研究旨在解决多模态大语言模型（MLLMs）内部表示与人类认知结构不一致的问题。现有方法未能有效对齐模型的决策标准与人类的相似性判断。

核心思路：论文提出通过行为导出的语义维度来对齐MLLMs与人类的多维心理表征，使模型不仅能做出选择，还能提供与人类判断一致的理由。

技术框架：整体框架包括构建语义嵌入空间、推断决策维度、生成语言理由三个主要模块。首先，利用4.70百万的O1O判断数据构建66个可解释的语义维度；其次，推断每个三元组的显著决策维度；最后，生成与该维度一致的语言理由。

关键创新：最重要的创新在于通过行为导出的语义维度实现了MLLMs与人类认知结构的对齐，显著提高了模型的解释性和一致性，这是与现有方法的本质区别。

关键设计：在模型设计中，采用了特定的损失函数来优化模型的选择与理由一致性，同时确保模型在标准多模态基准上的性能不下降。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在与人类相似性判断的一致性上有显著提升，同时在标准多模态基准上保持了竞争力的性能。具体而言，模型的表现与人类判断的相关性显著提高，且在独立的fMRI自然场景数据集上也显示出更高的表示一致性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手和教育技术等。通过将人类认知结构融入MLLMs的对齐过程，可以提升模型的可解释性和用户信任度，进而推动智能系统在实际应用中的广泛采用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have achieved impressive performance across a wide range of reasoning tasks, yet it remains unclear whether their internal representations and decision criteria align with the latent structure of human cognition. In this work, we propose a novel framework to align MLLMs with the multidimensional mental representations underlying human similarity judgements. We build on a previously established behavior-derived semantic embedding space, in which objects are represented along 66 interpretable dimensions derived from 4.70 million human Odd-One-Out (O1O) judgements. For each triplet, we infer the most salient decision dimension and convert it into a dimension-grounded linguistic rationale. This enables MLLMs to learn both the final choice and a justification consistent with the inferred behavioral criterion. Experimental results demonstrate that our approach improves model consistency with human similarity judgements while retaining competitive performance on standard multimodal benchmarks. Furthermore, using searchlight Representational Similarity Analysis (RSA) on an independent fMRI Natural Scenes Dataset (NSD), we observe increased representational alignment between model and human. Ultimately, our findings point to a data-driven route for incorporating human cognitive structure into MLLMs alignment. The code is available \href{https://github.com/ening-open/cogalign}{here}.