IcFuzz: Fuzzing Isaac Sim with Semantic Stage Guidance and Multi-level Mutation

📄 arXiv: 2608.06088v1 📥 PDF

作者: Zhixiang Chen, Zhuangbin Chen, Ruoxi Jia, Zeqin Liao, Wei Li, Jinyang Liu, Zibin Zheng

分类: cs.RO, cs.SE

发布日期: 2026-08-06

备注: Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

💡 一句话要点

提出IcFuzz以解决Isaac Sim模拟器的模糊测试问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模糊测试 机器人模拟 Isaac Sim 多级变异 上下文感知 软件缺陷 人工智能 测试验证

📋 核心要点

  1. 现有模糊测试方法难以有效测试Isaac Sim，主要由于上下文感知对象语义和庞大状态空间的挑战。
  2. IcFuzz通过LLM驱动的语义阶段分割，将模拟程序分解为结构化阶段，并设计多级变异操作以系统性测试。
  3. 实验表明，IcFuzz在代码覆盖率上达到基线的190%-205%，并在12小时的测试中平均检测到3.7个独特崩溃，显著提升了缺陷检测能力。

📝 摘要（中文）

机器人模拟器是具身人工智能的基础设施，支持安全且可扩展的机器人系统开发。NVIDIA的Isaac Sim因其GPU加速的物理引擎和逼真的渲染效果而受到广泛欢迎。然而，其复杂性导致了软件缺陷，影响了模拟的可靠性。现有的模糊测试方法在处理上下文感知对象语义、分层模拟控制和庞大的模拟状态空间时面临挑战。本文提出IcFuzz，首个针对Isaac Sim的模糊测试方法，通过基于LLM的语义阶段分割和多级变异操作，系统性地测试模拟器。实验结果显示，IcFuzz在代码覆盖率和缺陷检测方面均优于基线方法。

🔬 方法详解

问题定义：本文旨在解决Isaac Sim模拟器的模糊测试问题，现有方法在上下文感知对象语义、分层控制和状态空间导航方面存在不足。

核心思路：IcFuzz的核心思路是通过LLM进行语义阶段分割，捕捉上下文信息，并设计多级变异操作以系统性地测试模拟器。

技术框架：IcFuzz的整体架构包括语义阶段分割模块、多级变异操作模块和多臂赌博机调度模块，形成一个闭环的测试流程。

关键创新：IcFuzz的主要创新在于结合了语义分割与多级变异，能够适应复杂的模拟环境，显著提升了测试的有效性。

关键设计：在设计上，IcFuzz采用了基于LLM的语义分析，结合多级变异策略，并通过多臂赌博机算法优化变异调度，以高效覆盖广泛的状态空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IcFuzz在实验中表现出色，代码覆盖率达到基线的190%-205%，并在三轮12小时的测试中平均检测到3.7个独特崩溃，而基线方法未能检测到任何崩溃。此外，IcFuzz在四个月内发现了11个缺陷，其中9个已被开发者确认或修复，显示出其在缺陷检测方面的显著优势。

🎯 应用场景

IcFuzz的研究成果可广泛应用于机器人模拟器的测试与验证，提升模拟器的可靠性和稳定性。随着机器人技术的不断发展，IcFuzz将为安全性和性能优化提供重要支持，推动具身人工智能的实际应用。未来，该方法还可扩展到其他复杂系统的模糊测试中，具有较大的应用潜力。

📄 摘要（原文）

Robotics simulators serve as a foundational infrastructure for embodied AI, facilitating safe and scalable robotic system development. NVIDIA Isaac Sim has emerged as one of the most popular simulators, distinguished by its GPU-accelerated physics engine and photorealistic rendering, which enable high-fidelity modeling of complex environments. However, its inherent complexity inevitably introduces software bugs that can compromise simulation reliability. Existing fuzzing approaches struggle to test Isaac Sim effectively due to challenges of context-aware object semantics, hierarchical simulation control, and a vast simulation state space. In this paper, we propose IcFuzz, the first fuzzing approach for Isaac Sim. IcFuzz first performs an LLM-based semantic stage segmentation, decomposing simulation programs into structured stages that capture context-aware object semantics. Guided by this information, IcFuzz designs multi-level mutation operators to systematically exercise the simulator across hierarchical granularities. To efficiently navigate the vast simulation state space, IcFuzz employs a multi-armed bandit algorithm to adaptively schedule mutation operators. Experimental results show that IcFuzz outperforms the baselines in terms of both code coverage and bug detection. Specifically, IcFuzz achieves approximately 190\%--205\% of the code coverage of the baselines and detects an average of 3.7 unique crashes over three rounds of 12-hour tests, while no crashes are detected by the baselines. Moreover, IcFuzz has uncovered 11 bugs over approximately four months, 9 of which have been confirmed or fixed by the developers.