Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs
作者: Xiangfan Wu, Zonghao Ying, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo
分类: cs.CR, cs.AI
发布日期: 2026-08-17
🔗 代码/项目: GITHUB
💡 一句话要点
提出Ventor-QTest以解决第三方LLM API审核问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 API审核 保真度损失 黑箱审计 随机过程 长时间跨度任务 性能评估
📋 核心要点
- 现有方法在审计第三方LLM API时缺乏有效的质量评估手段，尤其是在长时间跨度任务中。
- Ventor-QTest通过将模型路由形式化为随机过程，提出了一种无需概率信息的黑箱审计方法，增强了审计的准确性。
- 实验结果显示，AFL与EFL在不同路由条件下表现出显著的变化，尤其在长任务中EFL与正确性之间的关系更为敏感。
📝 摘要（中文）
随着大型语言模型的广泛应用，第三方提供商在生态系统中扮演着重要角色。因此，审计其推理API的质量成为一个亟待解决的问题。本文将托管模型路由形式化为随机过程，提出了Ventor-QTest，这是一种复合黑箱审计方法，无需目标API的概率信息。其重复请求组件向目标发送每个冻结的约束上下文多次，从返回的文本计数中重建分类输出分布，并报告平均保真度损失（AFL）。长序列组件通过独立运行报告极端保真度损失（EFL）。实验结果表明，AFL与日志概率导出的比较器有强线性一致性，而EFL则与任务暴露增加时的Terminal-Bench通过率下降显著相关。这些结果表明在审计长时间跨度的代理任务时，联合报告AFL和EFL是有必要的。
🔬 方法详解
问题定义：本文旨在解决第三方LLM API的质量审计问题，现有方法在长时间跨度任务中难以有效评估其推理能力和准确性。
核心思路：Ventor-QTest的核心思路是将托管模型路由视为随机过程，通过黑箱审计方法评估API的输出质量，而无需依赖于目标API的概率信息。
技术框架：整体架构包括两个主要模块：重复请求组件和长序列组件。重复请求组件通过多次请求相同上下文来重建输出分布，长序列组件则通过独立运行来评估极端保真度损失。
关键创新：最重要的技术创新在于提出了AFL和EFL两种新的保真度损失指标，特别是在长时间跨度任务中，EFL的敏感性显著提高，能够更好地反映模型的性能。
关键设计：在设计中，AFL作为无偏差的均值Kullback-Leibler统计量，EFL则通过运行级别的参考中心惊讶统计量的经验上尾来计算，确保了评估的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AFL在三种路由条件下与日志概率导出的比较器表现出强线性一致性，而EFL在七个路由快照中显示出特定路由的显著变化。特别是在长任务中，EFL的变化与Terminal-Bench通过率的下降显著相关，强调了在长时间跨度任务中联合报告AFL和EFL的重要性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的质量审计、第三方API的安全性评估以及长时间跨度任务的性能监控。通过提供有效的审计工具，能够帮助开发者和用户更好地理解和信任这些模型的输出，进而推动其在实际应用中的广泛采用。
📄 摘要（原文）
As large language models become increasingly widespread, third-party providers that deploy open-weight models have become an important part of the ecosystem. Auditing the quality of their inference APIs is therefore an open problem. We formalize hosted model routing as a stochastic process and propose \mbox{\textbf{Ventor-QTest}}, a composite black-box audit that requires no probability information from the target API. Its repeated-request component sends each frozen constrained context to the target multiple times, reconstructs a categorical output distribution from the returned text counts, and reports \emph{average fidelity loss} (AFL) as a null-bias-corrected, within-window mean coarsened-KL statistic. Its long-sequence component uses independent runs to report \emph{extreme fidelity loss} (EFL) through the empirical upper tail of a run-level reference-centered-surprisal statistic. Across three logprob-capable route conditions, AFL shows strong linear descriptive agreement with a logprob-derived coarsened-KL comparator. Across seven route snapshots, 20-run sequence probes reveal route-specific EFL variation. AFL and EFL have little detectable route-level association with GPQA-Diamond accuracy. In contrast, pronounced EFL coincides with a decline in Terminal-Bench pass rate as task exposure increases. This pattern may arise because correctness in long-horizon tasks is more sensitive to extreme fidelity loss. These results motivate reporting AFL and EFL jointly, particularly when auditing long-horizon agentic tasks. The open-source implementation is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest.