ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries
作者: Abhishek Dey
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-06-30
💡 一句话要点
提出ComplianceGate以解决合规性与成本效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合规性 成本效率 大型语言模型 分类器门控 数据敏感性 推理优化 受监管行业
📋 核心要点
- 现有的大型语言模型在受监管行业中面临合规性和成本效率的挑战，尤其是在处理个人可识别信息时。
- 本文提出了一种分类器门控的路由架构，通过在推理前评估查询的复杂性和数据敏感性，实现合规性。
- 实验结果表明，该方法在延迟和成本上均有显著提升，延迟中位数减少39%，成本节省33-52%。
📝 摘要（中文）
在受监管行业中部署的大型语言模型面临合规性和成本效率的双重约束。用户查询中的个人可识别信息（PII）可能在系统判断数据是否应离开其管辖边界之前就到达模型端点。通过单一大型模型处理所有查询会消耗全部GPU容量，而混合专家架构无法有效解决在数据到达端点后进行的专家层间路由。本文提出了一种基于分类器的路由架构，通过设计强制执行合规性。经过训练的编码器分类器在任何解码器推理之前评估每个查询的复杂性和数据敏感性，并将其路由到适当大小的密集模型和地理位置。含PII的查询在任何LLM计算开始之前路由到本地端点，从根本上消除了数据居留违规的可能性。简单查询则以更低的成本到达小型快速模型。对600个查询的评估显示，延迟中位数减少39%，根据查询分布节省成本33-52%，生成吞吐量为122-200个token/秒，相较于基线的50-64个token/秒。编码器分类器以99.2%的准确率和近乎完美的PII召回率实现了7毫秒的推理开销，确立了预推理分类作为合规性设计的实际路径。
🔬 方法详解
问题定义：本文旨在解决在受监管行业中使用大型语言模型时的合规性和成本效率问题。现有方法在处理用户查询时，无法有效判断数据的敏感性和复杂性，导致资源浪费和合规风险。
核心思路：提出的分类器门控路由架构通过在推理前对查询进行评估，确保含有PII的查询被路由到本地端点，从而避免数据居留违规，同时将简单查询路由到小型模型以降低成本。
技术框架：整体架构包括一个训练好的编码器分类器和多个密集模型。分类器在解码器推理之前对每个查询进行评估，并根据复杂性和数据敏感性将其路由到合适的模型和地理位置。
关键创新：最重要的创新在于将合规性嵌入到推理流程中，通过分类器在查询到达模型之前进行评估，避免了传统方法中所有专家模型都加载在内存中的问题。
关键设计：编码器分类器的设计包括高准确率和快速推理时间，具体实现为99.2%的准确率和7毫秒的推理开销，确保了在合规性和效率之间的平衡。该设计使得合规性成为系统架构的核心组成部分。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用该方法后，延迟中位数减少39%，根据查询分布的不同，成本节省在33%至52%之间。此外，生成吞吐量提升至122-200个token/秒，相较于基线的50-64个token/秒，表现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和法律等受监管行业，能够有效处理用户查询中的敏感信息，确保合规性并降低运营成本。未来，该方法可能推动更多行业在合规性与效率之间找到平衡，促进大型语言模型的广泛应用。
📄 摘要（原文）
Large language models deployed in regulated industries operate under two constraints: compliance enforcement and cost efficiency. Personally identifiable information (PII) in user queries can reach model endpoints before the system determines whether that data should leave its jurisdictional boundary. Serving all queries through a single large model consumes full GPU capacity regardless of query complexity while offering no mechanism for geographic routing. Mixture-of-Experts architectures do not address this routing occurs between expert layers within the model after data has already arrived at the endpoint, with all experts loaded in memory regardless of query complexity. We propose a classifier-gated routing architecture that enforces compliance by design. A trained encoder classifier sits before any decoder inference, evaluating each query for complexity and data sensitivity, then routing it to an appropriately sized dense model in the appropriate geographic location. PII-containing queries route to local endpoints before any LLM computation begins, making data residency violations structurally impossible. Simple queries reach small, fast models at a fraction of the cost. Our evaluation on 600 queries demonstrates 39% median latency reduction, 33-52% cost savings depending on query distribution, and generation throughput of 122-200 tokens/second versus 50-64 for the baseline. The encoder classifier achieves 99.2% accuracy with near-perfect PII recall at 7ms inference overhead, establishing pre-inference classification as a practical path to compliance-by-design LLM deployment.