How Language Models Organize and Structure Moral Knowledge
作者: Orion Reblitz-Richardson
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-08-27
备注: 31 pages, 16 figures. Code and outputs at https://github.com/deepsteer/deepsteer
💡 一句话要点
提出线性探针以探讨语言模型中的道德知识结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 道德知识 语言模型 线性探针 道德基础理论 几何结构 模型整合性 道德决策
📋 核心要点
- 现有方法仅能广泛检测道德内容，未能深入区分道德基础及其关系，存在局限性。
- 通过训练六个线性探针，论文提出了一种新方法来分析道德知识的几何结构，揭示其内部关系。
- 实验结果表明，模型在道德知识的表示中展现出高度的整合性，且能够有效编码道德冲突的特征。
📝 摘要（中文）
本研究探讨大型语言模型（LLMs）如何组织道德知识。虽然模型能够广泛检测道德内容，但这只是一个低标准。我们训练了六个独立的线性探针，分别对应道德基础理论（MFT）的六个类别，并分析了它们在表示空间中的关系。结果显示，这些方向既不合并为单一的道德探测器，也不彼此孤立，而是跨越了几乎最大数量的独立维度，同时共享一个正的共同成分。该几何结构在不同架构和规模中保持一致，并在预训练早期达到整合状态，反映了语料库统计特征，而非道德基础理论所预测的个体化/绑定区分。
🔬 方法详解
问题定义：本研究旨在探讨大型语言模型如何组织和结构道德知识。现有方法在道德内容检测上存在局限，未能有效区分道德基础之间的关系。
核心思路：论文通过训练六个独立的线性探针，分别对应道德基础理论的六个类别，分析它们在表示空间中的几何关系，以揭示道德知识的组织结构。
技术框架：整体架构包括六个线性探针的训练，每个探针对应一个道德基础类别。通过对比道德与非道德概念的表示，分析其几何特征和相互关系。
关键创新：最重要的创新在于发现道德基础之间的关系并非简单的合并或孤立，而是跨越多个独立维度，且共享一个道德特有的整合成分。
关键设计：在训练过程中，使用了相同的参数设置和损失函数，确保道德和非道德概念的对比分析，最终得到的平均成对余弦相似度为0.26，显著高于非道德概念的0.013。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在道德知识的表示中展现出高度的整合性，方向间的关系跨越了几乎最大数量的独立维度。道德冲突的编码能力达到基线的2.7倍，表明模型能够有效捕捉道德张力而非预先解决的判断。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、社会机器人以及道德教育工具。通过深入理解语言模型中的道德知识结构，可以为相关领域提供更为智能和人性化的解决方案，促进人机交互的道德理解与应用。
📄 摘要（原文）
How do large language models (LLMs) organize moral knowledge? Models detect moral content broadly, but detection is a low bar. We ask whether they go further, distinguishing moral foundations from one another and organizing the relationships between them geometrically. We train six independent linear probes on open-weight language models, one per Moral Foundations Theory (MFT) category (care/harm, fair/cheat, lib/oppress, loy/betray, auth/subv, sanc/degrade), and examine how the resulting directions relate to each other in representation space. We find the directions neither collapse into a single moral detector nor isolate from one another. Rather, they span a near-maximal number of independent dimensions while sharing a positive common component. The shared component is the signature of integration, and it is moral-specific relative to a matched non-moral concept battery built identically (mean pairwise cosine 0.26 vs. 0.013). The geometry is consistent across architectures and scale and reaches its integration regime early in pre-training, well before probe accuracy saturates. The structure the model discovers shows no evidence of the individualizing/binding distinction predicted by Moral Foundations Theory (an underpowered test: only 20 candidate partitions exist) but rather reflects corpus statistics. Extending to moral dilemmas, each dilemma direction partially composes from its component foundations, at 2.7x a mismatched-pair baseline, while the majority of its variance encodes conflict-specific structure. The model represents moral tension itself, not a pre-resolved judgment.