The Differential Reasoning Router: Operationalizing Cost-Aware LLM Annotation in E-commerce

📄 arXiv: 2608.30224v1 📥 PDF

作者: Cheng Lyu, Jingyue Zhang, Vinny DeGenova, Mengwei Li, Yuanli Pei

分类: cs.CL, cs.AI

发布日期: 2026-08-31

💡 一句话要点

提出差异推理路由器以解决电商冷启动标注问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 冷启动问题 电商标注 自适应路由 成本感知 推理模型 人工审核

📋 核心要点

  1. 现有方法在电商标注中面临冷启动问题，缺乏足够的预标注数据，且推理过程的价值不明确。
  2. 本文提出的DRR框架通过评估模型成功概率，实现了自适应路由，优化了标注过程。
  3. 实验结果表明，DRR在电商工作流中达到了与最强信心基础路由器相同的准确率，并节省了推理成本。

📝 摘要（中文）

大型语言模型（LLMs）在电商中用于标注结构化产品数据，但早期部署常面临冷启动问题：可用的预标注标签有限，推理的价值未知，且需人工审核以确保系统可信。本文提出差异推理路由器（DRR），这是一个成本感知的冷启动LLM标注框架，能够联合优化模型选择和人工干预。DRR通过评估直接模型和推理模型的成功概率，实现自适应路由，确保简单案例直接处理，复杂案例进行推理，而可能出现双重失败或规则不一致的案例则上报给人工标注者。最终，DRR在电商生产工作流中实现了与最强信心基础路由器的准确率持平，同时节省了超过60%的推理令牌成本。

🔬 方法详解

问题定义：本文旨在解决电商中大型语言模型标注的冷启动问题。现有方法在标注过程中依赖人工审核，且推理模型的使用效率低下，导致成本高昂和决策不一致。

核心思路：DRR框架通过分别评估直接模型和推理模型的成功概率，优化了标注流程。简单案例直接处理，复杂案例进行推理，而可能的失败案例则上报给人工审核，从而提高了系统的整体效率和准确性。

技术框架：DRR的整体架构包括模型选择模块、成功概率评估模块和人工干预模块。首先，系统根据输入数据评估直接模型和推理模型的成功概率，然后根据评估结果进行自适应路由。

关键创新：DRR的主要创新在于其成本感知的自适应路由机制，能够根据不同案例的复杂性选择最优处理方式。这一机制与传统的固定推理模型使用方式形成鲜明对比。

关键设计：在设计上，DRR采用了多层次的成功概率评估，结合了业务规则的复杂性和模型的预测能力。具体的损失函数和参数设置尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，DRR在电商工作流中达到了与最强信心基础路由器相同的准确率，且在推理令牌成本上节省了超过60%。这一显著的成本效益提升为电商标注提供了新的解决方案。

🎯 应用场景

该研究的潜在应用领域包括电商平台的产品数据标注、智能推荐系统以及其他需要高效数据处理的场景。通过优化标注流程，DRR能够显著降低人工成本，提高标注质量，推动电商行业的自动化进程。未来，DRR的框架也可扩展到其他领域，如金融、医疗等需要复杂决策支持的行业。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used to annotate structured product data in e-commerce, but early deployment often begins as a cold-start problem: only limited pre-launch labels are available, the value of expensive reasoning is unknown, and human review is needed before the system can be trusted at scale. This challenge is especially common in rule-based annotation workflows, where each item must satisfy multiple business rules and both model errors and ambiguous rule boundaries affect final decisions. We introduce the Differential Reasoning Router (DRR), a cost-aware framework for cold-start LLM annotation that jointly optimizes model selection and human escalation. Rather than treating a reasoning model as a default fallback, DRR estimates separate success probabilities for a direct model and a reasoning model at both the sample and business-rule levels, enabling adaptive routing: easy cases are handled directly, reasoning is reserved for cases where it is expected to improve the decision, and likely double-failure or rule-disagreement cases are escalated to human annotators. The resulting labels provide targeted ground truth for prompt engineering, supervised fine-tuning, calibration, and rule refinement, enabling a gradual shift from human-heavy cold-start annotation toward high-confidence automated routing. In a production e-commerce workflow, DRR reaches accuracy parity with the strongest confidence-based router while achieving more than 60\% reasoning-token cost savings.