Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks
作者: Yao Huang, Zhiyuan Zeng, Yu Wang, Zhitong Zhu, Dingcheng Duan, Hao Li, Shangzhi Xu, Yifan Wang, Jinzhe Tu, Shukun Xiong, Yihe Zang, Han Yan, Hongchang Yang, Fuyu Gu, Wei Xu, Yinpeng Dong, Xiaojian Li
分类: cs.CL
发布日期: 2026-10-26
备注: 87 pages, 44 figures
💡 一句话要点
评估DeepSeek V4.1 Flash-1017以应对控制丧失和有害操控风险
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 安全评估 开放权重模型 控制丧失 有害操控 独立评估 人工智能规范 DeepSeek V4.1
📋 核心要点
- 现有模型在安全性评估方面缺乏独立性，尤其是开放权重模型的审查不足。
- 本文提出对DeepSeek V4.1 Flash-1017进行独立安全评估，基于欧盟AI行为规范，涵盖多项基准测试。
- 评估结果显示，V4.1 Flash-1017在安全性上有显著提升，接近领先闭源模型，但仍需关注其潜在风险。
📝 摘要（中文）
随着前沿语言模型能力的增强和自主性提升，独立的第三方评估对于表征其系统安全风险变得至关重要。尽管闭源发布通常伴随全面的系统卡片，开放权重模型在前沿风险方面的审查却相对较少。为填补这一空白，本文对DeepSeek V4.1 Flash-1017进行了独立的安全评估。该模型在架构、训练规模和代理能力上均有显著提升。我们依据欧盟通用人工智能行为规范，对模型在34个基准上进行了评估，涵盖评估完整性、控制丧失和有害操控等方面。结果表明，V4.1 Flash-1017在多个维度上显示出显著的安全性改进，接近或匹配领先的闭源基线，同时仍存在值得关注的行为。
🔬 方法详解
问题定义：本文旨在解决开放权重模型在安全性评估中的不足，尤其是控制丧失和有害操控的风险。现有方法缺乏独立的第三方评估，导致对这些风险的认识不足。
核心思路：通过对DeepSeek V4.1 Flash-1017进行独立评估，结合欧盟通用人工智能行为规范，全面分析模型在安全性方面的表现，填补现有评估的空白。
技术框架：评估过程包括34个基准测试，涵盖5个内部测试套件，重点关注评估完整性、控制丧失和有害操控。模型与V4.1 Flash及其他闭源系统进行对比，确保评估的全面性和准确性。
关键创新：本文的主要创新在于独立的安全评估框架，特别是针对开放权重模型的系统性评估方法，与现有闭源模型的评估标准形成对比。
关键设计：评估过程中采用了AEF-1标准，确保评估的可靠性和一致性，同时强调了过程级可观察性，以便更好地检测控制丧失行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，V4.1 Flash-1017在安全性方面相比V4.1 Flash有显著提升，多个维度接近或匹配领先的闭源模型（如GPT-6 Astra、GPT-5.6 Sol和Gemini 3.8 Flash）。这些结果强调了在模型更新中持续进行安全评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括人工智能模型的安全性评估、开发和部署过程中的风险管理，以及为政策制定者提供依据。通过建立更为严谨的评估标准，能够提升开放权重模型的安全性和可靠性，促进其在各行业的应用。
📄 摘要（原文）
As frontier language models grow increasingly capable and autonomous, independent third-party evaluations are critical for characterizing their systemic safety risks. While closed-source releases are routinely accompanied by comprehensive system cards, open-weight models receive less scrutiny regarding frontier risks. To address this gap, we present an independent safety evaluation of DeepSeek V4.1 Flash-1017, the latest version of V4.1 Flash that departs from V4 with a new architecture, scaled-up training, and strong agentic capabilities. Drawing on the EU General-Purpose AI Code of Practice, we evaluate the model across 34 benchmarks, including 5 in-house suites, spanning evaluation integrity, loss of control, and harmful manipulation. Conforming to the AEF-1 standard, we compare V4.1 Flash-1017 against V4.1 Flash, earlier DeepSeek V4 models, and leading closed-source systems (GPT-6 Astra, GPT-5.6 Sol, and Gemini 3.8 Flash). Overall, V4.1 Flash-1017 shows substantial safety improvements over the V4 generation and approaches or matches leading closed-source baselines on several dimensions, while still exhibiting notable behaviors that warrant continued attention. Building on our findings, we highlight three key observations and recommendations. First, because safety can shift and even regress across minor updates, developers should integrate safety evaluation into incremental releases. Second, as final-turn outputs and end-state checks alone cannot reliably detect loss-of-control behaviors, deployments require process-level observability across both reasoning traces and action logs. Third, because public benchmarks elicit strong evaluation awareness and face data contamination risks, developing private benchmarks is essential for trustworthy frontier evaluation.