ITCMA: A Generative Agent Based on a Computational Consciousness Structure

📄 arXiv: 2403.20097v2 📥 PDF

作者: Hanzhong Zhang, Jibin Yin, Haoyang Wang, Ziwei Xiang

分类: cs.AI, cs.HC, q-bio.NC

发布日期: 2024-03-29 (更新: 2024-06-08)

备注: 20 pages, 11 figures

期刊: Applied Soft Computing, 2025

DOI: 10.1016/j.asoc.2025.113922

💡 一句话要点

提出ITCMA以解决LLM在隐含指令理解中的不足

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算意识 大型语言模型 智能体 推理能力 开放世界 任务完成率 四足机器人 常识知识

📋 核心要点

  1. 现有大型语言模型在理解隐含指令和应用常识知识时表现不佳，导致多次尝试才能达到人类水平。
  2. 本文提出内部时间意识机器（ITCM）和基于其的智能体（ITCMA），通过模拟人类意识过程来增强LLMs的能力。
  3. 实验结果表明，训练后的ITCMA在已知数据集上比最先进的方法提高了9%，未训练的ITCMA也表现出色，显示出其优越性。

📝 摘要（中文）

大型语言模型（LLMs）在理解隐含指令和应用常识知识方面仍面临挑战。在这些场景中，LLMs可能需要多次尝试才能达到人类水平的表现，导致在实际环境中产生不准确的响应或推理。本文介绍了内部时间意识机器（ITCM），一种计算意识结构，用于模拟人类意识的过程。我们进一步提出了基于ITCM的智能体（ITCMA），支持在开放世界环境中生成行动和推理，能够独立完成任务。ITCMA通过考虑智能体与环境的互动和推理，增强了LLMs理解隐含指令和应用常识知识的能力。在Alfworld环境中的评估显示，训练后的ITCMA在已知数据集上比当前最先进的方法提高了9%。即使是未训练的ITCMA在已知数据集上的任务完成率也达到了96%，比最先进的方法高出5%，显示出其在效用和泛化方面的优越性。在与四足机器人进行的真实任务中，未训练的ITCMA实现了85%的任务完成率，接近其在未见数据集上的表现，证明了其在实际环境中的可用性和普适性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在理解隐含指令和应用常识知识方面的不足，现有方法在这些任务中表现不稳定，容易导致错误推理。

核心思路：提出内部时间意识机器（ITCM）作为计算意识结构，模拟人类的意识过程，从而增强智能体在开放世界中的推理和行动能力。

技术框架：ITCMA的整体架构包括环境交互模块、推理模块和行动生成模块，智能体通过与环境的互动不断更新其状态和知识。

关键创新：ITCMA的核心创新在于其基于ITCM的设计，使得智能体能够更好地理解和应用隐含指令，与传统智能体相比，具有更强的适应性和泛化能力。

关键设计：在模型设计中，采用了特定的损失函数以优化推理过程，并通过强化学习方法调整智能体的行为策略，确保其在复杂环境中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，训练后的ITCMA在已知数据集上的任务完成率比最先进的方法提高了9%，而未训练的ITCMA在已知数据集上的任务完成率达到了96%，比最先进的方法高出5%。在真实任务中，未训练的ITCMA也实现了85%的任务完成率，显示出其在实际应用中的优越性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化系统和人机交互等。ITCMA的设计使其能够在复杂和动态的环境中自主完成任务，具有广泛的实际价值和未来影响，尤其是在需要高度智能化和自主决策的场景中。

📄 摘要（原文）

Large Language Models (LLMs) still face challenges in tasks requiring understanding implicit instructions and applying common-sense knowledge. In such scenarios, LLMs may require multiple attempts to achieve human-level performance, potentially leading to inaccurate responses or inferences in practical environments, affecting their long-term consistency and behavior. This paper introduces the Internal Time-Consciousness Machine (ITCM), a computational consciousness structure to simulate the process of human consciousness. We further propose the ITCM-based Agent (ITCMA), which supports action generation and reasoning in open-world settings, and can independently complete tasks. ITCMA enhances LLMs' ability to understand implicit instructions and apply common-sense knowledge by considering agents' interaction and reasoning with the environment. Evaluations in the Alfworld environment show that trained ITCMA outperforms the state-of-the-art (SOTA) by 9% on the seen set. Even untrained ITCMA achieves a 96% task completion rate on the seen set, 5% higher than SOTA, indicating its superiority over traditional intelligent agents in utility and generalization. In real-world tasks with quadruped robots, the untrained ITCMA achieves an 85% task completion rate, which is close to its performance in the unseen set, demonstrating its comparable utility and universality in real-world settings.