NormAct: A Benchmark for Hidden Social Norm Compliance in Embodied Planning

📄 arXiv: 2606.27826v1 📥 PDF

作者: Shiyun Zhao, Xinwei Song, Tianyu Guo, Xiaomeng Gao, Mingyuan Liu, Xu Han, Yuanyuan Zhang, Zhenliang Zhang, Xue Feng, Bo Dai

分类: cs.AI

发布日期: 2026-06-26

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出NormAct基准以解决隐性社会规范遵循问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 具身规划 社会规范 任务评估 隐性约束 智能代理 人机交互

📋 核心要点

  1. 现有方法主要关注显性目标的达成，忽视了隐性社会规范的遵循，导致具身规划者在实际应用中的表现不足。
  2. 论文提出NormAct基准，通过将隐性规范嵌入普通任务中，评估模型在没有明确指令的情况下的规范遵循能力。
  3. 实验结果表明，使用NormPerceptor后，任务成功率显著提升，从24.2%增加至46.7%，显示出隐性规范的重要性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在自我中心环境中作为具身规划者的应用日益增多，任务成功不仅依赖于实现明确目标，还需遵循社会适当行为。现有评估通常集中于显性目标的达成或直接的规范知识，鲜有评估规划者能否在行动序列中推断和应用隐性约束。我们提出NormAct基准，评估计划在目标达成、规范遵循和整体任务成功方面的表现。NormAct独特地将隐性规范嵌入普通任务中，测试模型在没有明确指令的情况下是否能识别这些规范。实验显示，尽管模型在67.3%的情况下达成显性目标，但仅有26.4%遵循隐性规范。为此，我们提出NormPerceptor，一个上下文条件的线索生成器，能够在规划前推断场景相关的规范，将任务成功率从24.2%提升至46.7%。

🔬 方法详解

问题定义：本论文旨在解决具身规划者在执行任务时未能遵循隐性社会规范的问题。现有方法往往只关注显性目标的达成，忽略了隐性规范的影响，导致模型在复杂环境中的表现不佳。

核心思路：论文的核心思路是通过引入NormAct基准，评估模型在隐性规范遵循方面的能力。通过将隐性规范嵌入普通任务中，测试模型在缺乏明确指令的情况下是否能够推断和应用这些规范。

技术框架：整体架构包括三个主要模块：任务生成模块、规范识别模块和任务评估模块。任务生成模块负责创建包含隐性规范的任务场景，规范识别模块通过上下文条件生成线索，帮助模型推断相关规范，最后任务评估模块对模型的表现进行综合评估。

关键创新：最重要的技术创新点在于NormPerceptor的提出，它作为上下文条件的线索生成器，能够在规划之前推断出场景相关的隐性规范。这一设计使得模型能够更好地理解和遵循社会规范。

关键设计：在关键设计方面，NormPerceptor使用了特定的参数设置和损失函数，以优化模型在隐性规范识别上的表现。此外，网络结构采用了多模态融合的方式，以增强模型对视觉信息的理解和处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管模型在67.3%的情况下达成显性目标，但仅有26.4%遵循隐性规范。引入NormPerceptor后，任务成功率从24.2%提升至46.7%，表明隐性规范的识别对任务成功至关重要。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、虚拟助手和人机交互等。通过增强具身代理对隐性社会规范的理解能力，可以提升其在复杂环境中的决策质量和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly deployed as embodied planners in egocentric environments, where task success requires not only achieving instructed goals but also acting in socially appropriate ways. While explicit goals may render certain actions optimal, implicit social norms often impose hidden constraints. Existing evaluations typically focus on explicit goal achievement or direct norm knowledge, seldom assessing whether planners can infer and apply these hidden constraints within action sequences. We introduce NormAct, a benchmark for embodied social-norm interactions that evaluates plans on Goal Achievement, Norm Compliance, and overall Task Success. NormAct uniquely embeds hidden norms within ordinary tasks, testing whether models can realize them without explicit instruction. Experiments with state-of-the-art MLLMs (GPT-5.4, Claude Opus 4.7, Gemini 3 Pro) reveal a significant gap: models achieve explicit goals in 67.3\% of cases, but comply with hidden norms in only 26.4\%. Cue-condition experiments indicate that this gap stems not from a lack of general social knowledge, but from challenges in activating and grounding relevant norms in context. To address this, we propose NormPerceptor, a context-conditioned cue generator that infers scene-relevant norms prior to planning, increasing Task Success from 24.2\% to 46.7\%. Our results underscore the importance of enabling embodied agents to proactively detect hidden norms, ground them in visual evidence, and integrate them as action-planning constraints. Our benchmark is publicly available at https://huggingface.co/datasets/Caleb196x/NormAct.