From Gradient-Boosted Trees to Deep Recommenders: Practical Lessons from Migrating a Production Customer Support Recommender
作者: Sonia Sharma, Jeyendran Balakrishnan, Shreya Rajpal, Swapnil Parekh, Nagaraj Janardhana, Andrew Mattarella-Micke
分类: cs.LG, cs.AI
发布日期: 2026-08-25
备注: 10 pages
💡 一句话要点
提出深度推荐系统以解决传统树模型在动态推荐中的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度推荐系统 对话推荐 成对二元预测 负采样 注意力机制 动态推荐 多模态信号
📋 核心要点
- 传统的树模型在处理动态捆绑和多模态信号时表现不佳，难以适应快速变化的产品推荐需求。
- 论文提出通过成对二元预测来重构推荐任务，结合用户和项目特征，提升推荐系统的表现。
- 实验结果显示，新的深度推荐系统在对话后期的推荐质量显著优于CatBoost基线，达到甚至超过了初始阶段的性能水平。
📝 摘要（中文）
在快速变化的服务业务中，产品目录正从静态、独立定价的SKU转向动态捆绑和折扣组合，这对传统的树模型分类器造成了挑战。本文介绍了将一个实时生产的对话推荐系统从梯度提升多类模型迁移到成对二元深度推荐器的过程。为了确保推荐质量，采用了成对二元预测的方式，结合用户和项目特征进行联合学习，并通过负采样和噪声注入增强学习表示。通过对转录块应用注意力池化，论文在多个架构和损失函数上进行了探索，最终在对话的不同阶段取得了显著的性能提升。
🔬 方法详解
问题定义：本文旨在解决传统树模型在动态推荐场景中的局限性，尤其是在处理多模态信号和快速变化的标签空间时的不足。
核心思路：通过将推荐任务重构为成对二元预测，论文能够同时利用用户和项目特征进行联合学习，从而提高推荐的准确性和实时性。
技术框架：整体架构包括数据预处理、特征提取、模型训练和实时推荐四个主要模块。采用注意力机制对长对话上下文进行处理，并与TF-IDF和句子嵌入基线进行比较。
关键创新：最重要的创新在于将推荐问题转化为成对二元预测，并通过负采样和噪声注入来增强模型的学习能力，这与传统的单一分类方法形成鲜明对比。
关键设计：在模型设计中，采用了多种架构（如双塔模型、DeepFM及其变体），并探索了对比损失等多种损失函数，以优化推荐效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，新的深度推荐系统在对话开始时与CatBoost基线表现相当，而在对话后期则显著优于基线，展示了在动态推荐环境中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括客户支持、在线购物和个性化服务等场景。通过提升推荐系统的实时性和准确性，可以显著改善用户体验，推动业务增长，并为未来的智能推荐系统提供理论基础和实践指导。
📄 摘要（原文）
Product catalogs in fast-moving service businesses are shifting from static, independently priced SKUs toward dynamically bundled, discount-coupled offerings--a shift that strains the tree-based classifiers traditionally preferred for sparse and highly imbalanced data. These classifiers assume a fixed, slowly changing label space and struggle to incorporate multimodal signals such as tabular data and transcripts. We present the migration of a live, production conversational recommendation system from a gradient-boosted multiclass model to a pairwise-binary deep recommender. Because this system is critical to ecosystem growth initiatives and downstream features like dynamic pitching--surfacing the most relevant pitch text to a support agent in real time during a live customer conversation--maintaining live recommendation quality was a non-negotiable constraint. We detail the techniques that made this migration successful--reformulating recommendation as pairwise binary prediction to learn jointly from user and item features, and enhancing learned representations via negative sampling and noise injection. To efficiently incorporate long, live conversation context, we apply attention pooling over transcript chunks and benchmark it against TF-IDF and sentence-embedding baselines. Finally, we explore multiple architectures (including two-tower models, DeepFM, and their variants) and loss functions such as contrastive loss. Evaluating against a CatBoost baseline across all conversational stages, we demonstrate that our approach achieves parity at conversation beginning and outperforms at later conversational stages.