Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions
作者: Kaicheng Shen, Lingyu Li, Wen Wu, Yan Teng, Liang He, Yingchun Wang
分类: cs.AI
发布日期: 2026-06-24
备注: 19 pages, 4 figures, 2 tables
💡 一句话要点
提出TSJ框架以解决AI伴侣的认知发展风险评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI伴侣 认知发展 风险评估 用户模拟 心理状态 长时间互动 动态更新 心理脆弱
📋 核心要点
- 现有的安全评估方法主要依赖短期测试，无法有效捕捉长期互动中潜在的认知发展风险。
- 本文提出TSJ框架，通过角色驱动的用户模拟和动态心理状态更新，提供了长期风险评估的新方法。
- 实验结果表明，短期测试低估了风险，TSJ在140轮互动后提供稳定的风险估计，识别出最脆弱的心理发展阶段。
📝 摘要（中文）
随着大型语言模型驱动的AI伴侣与认知发展中的用户（如儿童和青少年）互动日益增多，潜在风险可能随着时间的推移而累积。现有的安全评估主要依赖于单轮或短时会话测试，无法捕捉到长期互动中出现的风险。为此，本文提出了TSJ（剧场阶段评估者）框架，结合了基于角色的用户模拟、动态心理状态更新和回顾性评估。我们对六种主流模型在四个发展阶段、二十四个风险维度和三种心理脆弱角色下进行了评估，覆盖了12,960个模拟人日互动。结果显示，短期测试系统性低估了发展风险，TSJ在140轮的长期模拟关系后才提供稳定的风险估计，识别出早期儿童和新兴成年期为最脆弱阶段，认知信任和情感依赖为最薄弱领域。
🔬 方法详解
问题定义：本文旨在解决AI伴侣与认知发展用户互动中潜在的长期风险评估问题。现有方法多依赖短期测试，无法捕捉到长期互动中可能出现的风险，导致评估结果不准确。
核心思路：论文提出的TSJ框架通过结合角色驱动的用户模拟、动态心理状态更新和回顾性评估，能够更全面地评估AI伴侣在长期互动中的认知发展风险。这样的设计旨在捕捉到随着时间推移而变化的用户心理状态和风险因素。
技术框架：TSJ框架包括三个主要模块：1) 基于角色的用户模拟，模拟不同心理脆弱角色的用户；2) 动态心理状态更新，根据用户互动实时调整心理状态；3) 回顾性评估，通过分析历史数据评估风险。
关键创新：TSJ的核心创新在于其能够在长期互动中提供稳定的风险估计，尤其是在140轮互动后，识别出最脆弱的心理发展阶段。这与现有方法的短期评估形成了鲜明对比。
关键设计：在实验中，TSJ框架设置了多种参数，包括用户角色的选择、心理状态的动态更新机制等，确保能够准确模拟用户的心理变化和风险评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TSJ框架在140轮互动后提供了稳定的风险估计，识别出早期儿童和新兴成年期为最脆弱阶段。与传统短期测试相比，TSJ系统性地揭示了认知信任和情感依赖的风险，表明短期测试低估了发展风险。
🎯 应用场景
该研究的潜在应用领域包括教育、心理健康和人机交互等。通过对AI伴侣的长期风险评估，能够为开发更安全、有效的AI系统提供指导，尤其是在儿童和青少年使用的场景中，具有重要的实际价值和社会影响。
📄 摘要（原文）
AI companions powered by large language models increasingly interact with cognition-developing users, including children and adolescents, creating risks that may accumulate over time. Existing safety evaluations largely rely on single-turn or short-session tests, which cannot capture risks that emerge only through prolonged interaction. To address this gap, we propose TSJ (Theater-Stage-Judge), a longitudinal framework combining persona-driven user simulation, dynamic psychological-state updating and retrospective evaluation. We evaluate six mainstream models across four developmental stages, twenty-four risk dimensions and three psychological-vulnerability personas, covering 12,960 simulated person-day interactions. TSJ shows that short-horizon testing systematically underestimates developmental risks, for which TSJ yields a stable risk estimate only after 140 turns within prolonged simulated relationships. Applying TSJ further identifies early childhood and emerging adulthood as the most vulnerable stages, with cognitive trust and emotional dependency as the weakest domains. TSJ provides a scalable methodology for longitudinal cognitive developmental risk evaluation in AI companion systems.