HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

📄 arXiv: 2606.26614v1 📥 PDF

作者: Kuangshi Ai, Patrick Phuoc Do, Chaoli Wang

分类: cs.HC, cs.AI, cs.GR

发布日期: 2026-06-25

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HiLSVA以解决科学可视化中的人机协作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学可视化 人机协作 大型语言模型 用户反馈 透明度 多代理系统 混合主动交互

📋 核心要点

  1. 现有的科学可视化系统往往优先考虑自主性，导致缺乏透明度和人类的分析控制。
  2. HiLSVA通过人机协作的方式，结合多代理架构和用户反馈，增强了人类在可视化过程中的参与感。
  3. 实验结果显示，混合主动交互显著提高了任务完成率和用户控制感，同时保持了工作流程的透明性。

📝 摘要（中文）

大型语言模型（LLM）代理使科学可视化（SciVis）中的自然语言交互成为可能。然而，现有系统往往优先考虑自主性，限制了透明度和人类监督。本文提出了HiLSVA，一个支持混合主动SciVis工作流程的人机协作代理系统。HiLSVA结合了计划优先的多代理架构、明确的人类监督、逐步的来源追踪以及基于用户反馈的学习适应。该系统通过自然语言和直接操作可视化的方式实现人类与代理之间的流畅交接，同时沙盒执行确保了安全、可重复的工作流程。通过案例研究和控制用户研究的评估，结果表明混合主动交互在不同用户专业水平下提高了任务完成度、用户控制和工作流程透明度，同时揭示了执行效率与人类监督之间的权衡。这些发现强调了以人为本的设计在代理SciVis中的重要性，并为未来的协作可视化系统的发展提供了指导。

🔬 方法详解

问题定义：本文旨在解决现有科学可视化系统中人类监督不足的问题，导致用户在分析过程中的透明度和控制感缺失。

核心思路：HiLSVA通过引入人机协作的混合主动工作流程，强调人类在可视化过程中的重要性，旨在增强用户的参与感和控制力。

技术框架：HiLSVA采用计划优先的多代理架构，包含人类监督模块、来源追踪模块和基于用户反馈的适应模块，确保系统的安全性和可重复性。

关键创新：HiLSVA的主要创新在于其人机协作的设计理念，强调人类与代理之间的流畅交接，区别于以往强调自主性的系统。

关键设计：系统设计中包括明确的人类监督机制、逐步的来源追踪方法，以及在用户反馈基础上的学习适应策略，确保用户在整个可视化过程中保持控制权。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HiLSVA在不同用户专业水平下的任务完成率提高了显著，用户控制感和工作流程透明度也得到了增强。具体而言，混合主动交互在执行效率与人类监督之间实现了有效的平衡，提升幅度明显。

🎯 应用场景

HiLSVA可广泛应用于科学研究、数据分析和教育等领域，帮助用户更有效地进行数据可视化和分析。通过增强人机协作，该系统能够提高用户的分析能力和决策效率，未来可能对科学可视化工具的发展产生深远影响。

📄 摘要（原文）

Large language model (LLM) agents enable natural language interaction for scientific visualization (SciVis). Still, prior systems have essentially prioritized autonomy over human analytical control, thereby limiting transparency and human oversight. We present HiLSVA, a human-in-the-loop agentic system that supports mixed-initiative SciVis workflows. HiLSVA integrates a plan-first multi-agent architecture with explicit human oversight, stepwise provenance tracking, and learn-at-test-time adaptation from user feedback. The system supports fluid handoff between humans and agents through both natural language and direct manipulation of visualizations, while sandboxed execution ensures safe, reproducible workflows. In doing so, HiLSVA reframes agentic SciVis as a collaborative process that augments, rather than replaces, human analytical reasoning. We evaluate HiLSVA through representative case studies and a controlled user study with twelve participants of varying expertise across multiple autonomy settings. Results show that mixed-initiative interaction improves task completion, user control, and workflow transparency across different levels of user expertise, while revealing a tradeoff between execution efficiency and human oversight. These findings highlight the importance of human-centered design in agentic SciVis and guide the development of future collaborative visualization systems. We encourage readers to explore our demo video, case studies, and source code at https://hilsva.github.io/.