TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference

📄 arXiv: 2608.01975v1 📥 PDF

作者: Ruilin Xu, Junyi Li, Pengfei Chen, Zongxuan Xie

分类: cs.SE, cs.CL, cs.LG, cs.PF

发布日期: 2026-08-03

备注: 12 pages, 1 figure, 9 tables. Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

DOI: 10.1145/3832783.3837440

💡 一句话要点

提出TELLER框架以解决LLM推理中的根因分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 根因分析 大语言模型 非侵入式分析 追踪技术 多模态模型

📋 核心要点

  1. 现有的根因分析方法在处理LLM推理时面临挑战，难以捕捉跨层执行的复杂性和请求结构。
  2. TELLER框架通过非侵入式收集追踪和日志信息，重构调用链并引入依赖感知的因果上下文切片，提升了分析的准确性。
  3. 实验结果显示，适度的TPE词汇表能够将每步追踪长度减少80%以上，同时在横向和纵向视图上实现最佳性能。

📝 摘要（中文）

大语言模型（LLM）推理已从离线工作负载演变为持续运行的软件服务，但根因分析仍然困难，因为单个请求跨越推理引擎、Python/C++后端、主机CUDA API、GPU内核和分布式通信。现有的分析工具仅提供原始时间线，而基于日志的诊断往往忽略跨层执行语义和请求级结构。本文提出了TELLER，一个非侵入式的追踪和日志感知LLM推理根因分析框架。TELLER首先收集NVTX/CUPTI追踪和服务日志，而无需修改模型二进制文件，然后重构每个请求的调用链树，并将日志行与相应的执行步骤对齐。我们引入了依赖感知的因果上下文切片，保留了父子结构、时间顺序和通信关系，并设计了压缩这些切片的Trace Pair Encoding（TPE）标记器。实验表明，TELLER在多节点GPU推理工作负载下实现了显著的压缩-准确性权衡。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理中的根因分析问题，现有方法无法有效捕捉跨层执行的语义和请求结构，导致诊断困难。

核心思路：TELLER框架通过非侵入式收集NVTX/CUPTI追踪和服务日志，重构请求的调用链，并引入依赖感知的因果上下文切片，以提高分析的准确性和可解释性。

技术框架：TELLER的整体架构包括数据收集模块、调用链重构模块、因果上下文切片生成模块和根因分析模块。数据收集模块负责收集追踪和日志信息，调用链重构模块将其转化为可分析的结构，因果上下文切片生成模块则创建压缩的上下文切片，最后根因分析模块进行异常步骤预测和可疑操作本地化。

关键创新：TELLER的主要创新在于引入了依赖感知的因果上下文切片和Trace Pair Encoding（TPE）标记器，这使得分析能够保留父子结构和时间顺序，同时大幅度压缩数据。与现有方法相比，TELLER能够更好地捕捉跨层执行的复杂性。

关键设计：在设计中，TPE标记器通过压缩切片为结构化的标记序列，包含父级、深度和持续时间属性。此外，框架结合了数值候选定位与多模态根因模型，能够联合预测异常步骤并生成自然语言解释。实验中还考虑了低故障先验、基线强化和模态消融等因素，以验证TELLER的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，适度的TPE词汇表能够将每步追踪长度减少超过80%，同时在横向和纵向视图上实现最佳性能。相比之下，更激进的压缩策略显著降低了诊断质量，显示出TELLER在压缩与准确性之间的良好平衡。

🎯 应用场景

TELLER框架在大语言模型推理的根因分析中具有广泛的应用潜力，能够帮助开发者快速定位性能瓶颈和异常行为，从而提升系统的稳定性和用户体验。未来，该框架可扩展至其他复杂系统的根因分析，推动智能服务的优化与发展。

📄 摘要（原文）

Large language model (LLM) inference has evolved from an offline workload into a continuously operated software service, yet root-cause analysis remains difficult because a single request spans the inference engine, Python/C++ backend, host CUDA APIs, GPU kernels, and distributed communication. Existing profilers expose raw timelines, while log-based diagnosis often misses cross-layer execution semantics and request-level structure. We present TELLER, a non-intrusive Trace- and Log-aware LLM inference Root-cause analysis framework. TELLER first collects NVTX/CUPTI traces and service logs without modifying model binaries, then reconstructs per-request call-chain trees and aligns log lines with the corresponding execution steps. We introduce a dependency-aware causal-context slice that preserves parent-child structure, temporal order, and communication relations, and a Trace Pair Encoding (TPE) tokenizer that compresses such slices into compact structural token sequences with parent, depth, and duration attributes. On top of these representations, TELLER combines numeric candidate localization with a multimodal root-cause model that jointly predicts abnormal steps, localizes suspicious operators, and generates natural-language explanations. Experiments on multi-node GPU inference workloads show a clear compression-accuracy trade-off: a moderate TPE vocabulary reduces per-step trace length by more than 80% while achieving the best overall performance on both horizontal (cross-node communication) and vertical (within-node execution stack) views, whereas more aggressive compression substantially degrades diagnosis quality. Further analyses under low-fault priors, strengthened baselines, modality ablations, explanation-quality checks, and tracing overhead show that TELLER provides a practical triage and evidence-localization substrate for LLM inference RCA.