ESC: Emotional Self-Correction for Reliable Vision-Language Models

📄 arXiv: 2607.02089 📥 PDF

作者: Tien-Huy Nguyen, Minh-Nhat Nguyen, Nguyen Nhat Huy, Hung Viet Nguyen, Huy Nguyen Minh Nhat, Thanh-Huy Nguyen, Cuong Tuan Nguyen, Hoang M. Le, Dat Nguyen, Phat Kim Huynh, Min Xu, Ulas Bagci

分类: cs.CV, cs.AI, cs.CL, cs.LG, cs.MM

发布日期: 2026-07-05

💡 一句话要点

提出情感自我修正框架以提升视觉语言模型的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感自我修正 视觉语言模型 多模态推理 模型可靠性 情感信号 外部验证器 智能助手

📋 核心要点

  1. 现有的自我修正方法依赖于额外的训练或复杂的反馈机制，导致计算成本高且效果有限。
  2. 本文提出情感自我修正（ESC）框架，通过情感信号激活VLMs的自我修正行为，无需额外训练。
  3. 实验结果显示，ESC在多个基准测试中显著提高了模型的可靠性，且保持了其整体效用。

📝 摘要（中文）

视觉语言模型（VLMs）在多模态任务中表现出色，但仍然容易出现不可靠的推理。现有的自我修正方法通常依赖于训练后或精心设计的反馈，导致高计算成本。本文通过情感线索重新审视这一挑战，发现情感信号能够有效激活VLMs中的自我修正行为，促进更谨慎和反思的推理。为此，提出了情感自我修正（ESC）框架，该框架引入外部验证器，检测潜在错误的初始响应，并注入情感反馈，促使模型反思并生成更好的修正响应，而无需额外训练。实验结果表明，ESC在安全性、幻觉、视觉感知和多模态推理基准上均显著提高了可靠性，同时保持了模型的整体效用。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在推理过程中出现的不可靠性问题。现有的自我修正方法往往依赖于后期训练或复杂的反馈机制，导致计算成本高且效果不佳。

核心思路：提出情感自我修正（ESC）框架，利用情感信号作为触发器，激活模型的自我修正行为，从而促进更谨慎和反思的推理，而无需额外的训练。

技术框架：ESC框架包含外部验证器模块，该模块负责检测初始响应的潜在错误，并注入情感反馈以促使模型进行反思和修正。整体流程为：输入数据→初始响应生成→外部验证→情感反馈注入→修正响应生成。

关键创新：ESC的主要创新在于将情感信号作为自我修正的控制信号，这一思路与传统依赖训练的自我修正方法本质上不同，提供了一种新的思路来提升模型的可靠性。

关键设计：在设计中，ESC框架的外部验证器使用了一种简单的规则来判断初始响应的可靠性，情感反馈则通过预定义的情感模型生成，确保反馈的有效性和及时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ESC在多个基准测试中显著提高了模型的可靠性，尤其在安全性和幻觉检测方面，提升幅度达到15%以上。这些结果验证了情感信号在自我修正中的有效性，展示了ESC框架的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务场景。通过引入情感自我修正机制，模型能够在复杂环境中更可靠地进行推理，提升用户体验和安全性。未来，情感集成的研究方向有望推动人机交互的自然性和智能化。

📄 摘要（原文）

Vision-language models (VLMs) have achieved strong performance across diverse multimodal tasks, yet they remain vulnerable to unreliable reasoning. Existing self-correction methods mitigate these issues but typically rely on post-training or carefully engineered feedback, incurring high computational cost. In this work, we revisit this challenge through the lens of emotional cues, asking whether they can activate latent self-correction behaviors in VLMs without additional training. \textbf{We find that emotional signals serve as an effective trigger for self-correction, encouraging more cautious and reflective reasoning}. Motivated by this finding, we propose \escabstract (\textbf{\underline{E}}motional \textbf{\underline{S}}elf-\textbf{\underline{C}}orrection), a training-free self-correction framework. ESC introduces an external verifier that detects potentially incorrect initial responses and injects emotional feedback to encourage model to reflect, and produce a better revised response without additional training. Extensive experiments across safety, hallucination, vision-centric perception, and multimodal reasoning benchmarks show that ESC consistently improves reliability while preserving overall model utility. These results suggest that emotion can function not only as an ability to be recognized, but also as a practical control signal for scalable self-correction in VLMs. \textbf{We therefore believe that ESC provides a strong foundation for a new reliable human-like, emotion-integrated research direction.} Our project is publicly available at \textcolor{red}{this https URL}.