Beyond Task-Only Matching: Personalized Skill Routing with Counterfactual Evaluation
作者: Tianle Wang, Yanghe Zou, Xiang Liu, Ziyao Huang, Chenchen Fu, Weiwei Wu
分类: cs.AI
发布日期: 2026-08-28
💡 一句话要点
提出个性化技能路由方法以解决任务匹配不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化技能路由 任务匹配 用户档案 反事实评估 技能选择 机器学习 大型语言模型
📋 核心要点
- 现有技能路由方法仅基于任务语义匹配，无法有效处理用户的个性化约束，导致技能选择不适合请求用户。
- 本文提出将个性化技能路由视为基于用户档案的检索，设计了SkillFeed框架，通过任务-技能对齐和用户档案条件的区分来优化技能选择。
- SkillFeed在SkillFeed-Bench上实现了75.1%的顶级检索准确率，较基线提升23.1个百分点，特别是在用户档案改变技能适用性时，提升幅度达到35.1个百分点。
📝 摘要（中文）
随着可重用技能库的快速扩展，技能路由成为大型语言模型（LLM）代理的重要能力。现有方法将路由视为仅基于任务的语义匹配，但当用户的约束条件不兼容时，这种假设会混淆任务相关性与技能适用性。为了解决这一问题，本文将个性化技能路由定义为基于用户档案的检索，提出了SkillFeed框架，通过任务-技能对齐和用户档案条件的区分，识别既满足任务要求又符合用户约束的技能。实验结果表明，SkillFeed在SkillFeed-Bench上实现了75.1%的顶级检索准确率，相较于预训练路由基线提升了23.1个百分点。
🔬 方法详解
问题定义：本文要解决的问题是现有技能路由方法在处理用户个性化约束时的不足，尤其是当用户的请求相同但约束不同的情况下，现有方法无法有效区分技能的适用性和任务的相关性。
核心思路：论文提出将个性化技能路由定义为基于用户档案的检索，强调用户档案在技能选择中的重要性，设计了SkillFeed框架以实现任务与用户档案的联合优化。
技术框架：SkillFeed框架包括两个主要阶段：首先进行任务-技能对齐，然后通过用户档案条件进行技能的重新排序。该框架利用了配对的反事实监督来增强模型的学习能力。
关键创新：最重要的技术创新在于引入了基于用户档案的检索机制，能够有效区分任务相关性与技能适用性，解决了传统方法的局限性。
关键设计：在模型设计中，使用了反事实基准来评估用户档案变化对技能选择的影响，并通过特定的损失函数来优化任务-技能对齐与用户档案条件的区分。
🖼️ 关键图片
📊 实验亮点
SkillFeed在SkillFeed-Bench上实现了75.1%的顶级检索准确率，相较于预训练路由基线提升了23.1个百分点。在用户档案改变技能适用性的查询中，增加用户档案条件后，准确率提升了35.1个百分点，显示出用户档案的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能客服、个性化推荐系统以及教育领域的个性化学习方案。通过更精准的技能路由，能够提升用户体验和满意度，未来可能对人机交互和自动化系统的设计产生深远影响。
📄 摘要（原文）
The rapid expansion of reusable skill repositories makes skill routing a critical capability for large language model (LLM) agents. Existing methods treat routing as task-only semantic matching. However, when users with incompatible constraints issue an identical request, this assumption conflates task relevance with skill suitability: a task-only router can select a semantically plausible skill that is unsuitable for the requesting user. To expose this failure mode, we formulate \textit{personalized skill routing} as profile-conditioned retrieval, in which relevance depends jointly on the task and the user profile. We first introduce a profile-counterfactual benchmark, in which the task is held fixed while changes in the user profile induce changes in the reference skill. We further construct paired counterfactual supervision and propose SkillFeed, a progressive retrieve-and-rerank framework that first establishes task--skill alignment and then learns profile-conditioned discrimination. By retrieving body-level evidence and reranking semantically similar but profile-conflicting candidates, SkillFeed identifies skills that satisfy both task requirements and user constraints. On SkillFeed-Bench, SkillFeed attains 75.1\% top-1 retrieval accuracy, a 23.1-point improvement over the corresponding pretrained routing baseline. Adding profile conditioning yields a 35.1-point gain on queries where user profile changes the reference skill. This contrast shows that user profiles are most consequential precisely when they change skill suitability. Our website is publicly available at http://www.aiskillfeed.com .