How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities

📄 arXiv: 2603.02578v1 📥 PDF

作者: Ziwen Xu, Kewei Xu, Haoming Xu, Haiwen Hong, Longtao Huang, Hui Xue, Ningyu Zhang, Yongliang Shen, Guozhou Zheng, Huajun Chen, Shumin Deng

分类: cs.CL, cs.AI, cs.HC, cs.LG

发布日期: 2026-03-03

备注: Work in progress

💡 一句话要点

提出SteerEval，用于多粒度评估大语言模型的可控性，揭示现有方法在细粒度控制上的不足。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可控性 分层评估 行为控制 基准测试

📋 核心要点

  1. 现有大语言模型在社会敏感领域应用广泛，但其行为不可预测性带来潜在风险，例如意图错位和人格不一致。
  2. 论文提出分层基准SteerEval，从语言特征、情感和人格三个领域，多粒度评估LLM的可控性。
  3. 实验表明，现有控制方法在细粒度级别上表现不佳，SteerEval为未来研究提供了一个可解释的评估框架。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地部署在对社会敏感的领域，但其不可预测的行为，从意图不一致到人格不一致，带来了重大风险。本文提出了SteerEval，这是一个分层基准，用于评估LLM在三个领域的可控性：语言特征、情感和人格。每个领域被构建为三个规范级别：L1（表达什么）、L2（如何表达）和L3（如何实例化），将高层行为意图连接到具体的文本输出。使用SteerEval，我们系统地评估了当前的控制方法，揭示了控制通常在更细粒度的级别上会降低。我们的基准为安全和可控的LLM行为提供了一个原则性和可解释的框架，为未来的研究奠定了基础。

🔬 方法详解

问题定义：现有的大语言模型虽然能力强大，但在实际应用中，尤其是在社会敏感领域，其行为的可控性仍然是一个挑战。现有的控制方法往往无法保证模型在各个粒度级别上都能够按照预期输出，例如，即使能够控制模型的情感倾向，也可能无法控制其具体的表达方式。因此，如何全面、细致地评估和提升LLM的可控性是一个亟待解决的问题。

核心思路：论文的核心思路是构建一个分层的评估基准，将可控性分解为多个粒度级别，从而能够更全面、更细致地评估现有控制方法的效果。通过这种分层评估，可以发现现有方法在哪些粒度级别上表现良好，在哪些粒度级别上存在不足，从而为未来的研究提供指导。

技术框架：SteerEval基准包含三个领域：语言特征、情感和人格。每个领域又被划分为三个规范级别：L1（表达什么，例如“表达积极情感”）、L2（如何表达，例如“使用积极的词汇”）和L3（如何实例化，例如“生成具体的句子”）。评估过程包括：给定一个控制目标（例如，L1指定的情感），使用不同的控制方法生成文本，然后使用相应的评估指标来衡量生成文本是否符合控制目标。

关键创新：SteerEval的关键创新在于其分层结构，能够从多个粒度级别评估LLM的可控性。这种分层评估方式能够更全面地揭示现有控制方法的优缺点，为未来的研究提供更细致的指导。与以往的评估方法相比，SteerEval更加注重将高层行为意图与具体的文本输出联系起来，从而能够更好地评估LLM的实际应用效果。

关键设计：在每个领域和每个级别上，SteerEval都设计了相应的评估指标。例如，在情感领域，可以使用情感分类器来评估生成文本的情感倾向是否符合控制目标。在语言特征领域，可以使用语言模型来评估生成文本的流畅度和语法正确性。此外，SteerEval还考虑了不同控制方法之间的公平性，确保评估结果能够客观地反映各种方法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的控制方法在L1级别（表达什么）上表现相对较好，但在L2级别（如何表达）和L3级别（如何实例化）上表现明显下降。这表明，现有方法在细粒度控制方面存在不足，需要进一步改进。SteerEval提供了一个清晰的评估框架，可以帮助研究人员更好地理解和解决这个问题。

🎯 应用场景

该研究成果可应用于各种需要安全和可控LLM行为的场景，例如智能客服、内容生成、情感分析等。通过SteerEval，开发者可以更好地评估和改进LLM的控制能力，降低模型产生不良行为的风险，从而提高LLM在实际应用中的可靠性和安全性。未来，该研究可以促进更安全、更可信赖的人工智能系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly deployed in socially sensitive domains, yet their unpredictable behaviors, ranging from misaligned intent to inconsistent personality, pose significant risks. We introduce SteerEval, a hierarchical benchmark for evaluating LLM controllability across three domains: language features, sentiment, and personality. Each domain is structured into three specification levels: L1 (what to express), L2 (how to express), and L3 (how to instantiate), connecting high-level behavioral intent to concrete textual output. Using SteerEval, we systematically evaluate contemporary steering methods, revealing that control often degrades at finer-grained levels. Our benchmark offers a principled and interpretable framework for safe and controllable LLM behavior, serving as a foundation for future research.