MORL-A2C: Multi-Objective Reinforcement Learning Reranker for Optimizing Healthiness in MOPI-HFRS
作者: Aarya Vasantlal, Joshua Zolla
分类: cs.LG
发布日期: 2026-06-22
备注: Accepted at the International Workshop on Resource-Efficient Learning for Knowledge Discovery (RelKD) at ACM SIGKDD 2026
💡 一句话要点
提出MORL-A2C以优化MOPI-HFRS中的健康饮食推荐
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多目标强化学习 健康饮食推荐 序列决策 优势演员-评论家 图神经网络 个性化推荐 营养优化
📋 核心要点
- 现有的食品推荐系统往往忽视营养健康，导致不健康的饮食行为持续存在。
- MORL-A2C通过引入序列决策机制，优化健康与用户偏好的平衡，克服了静态权衡的局限。
- 在宏观营养基准测试中，MORL-A2C在健康对齐上显著提升，同时排名质量有所下降，验证了其有效性。
📝 摘要（中文）
不健康的饮食行为在美国持续成为公共健康问题，现有推荐系统往往优先考虑用户偏好而忽视营养健康。本文扩展了多目标个性化可解释健康食品推荐系统（MOPI-HFRS），通过Pareto优化共同优化偏好、健康和多样性。然而，该方法依赖于静态的逐步权衡解决方案，未能捕捉饮食决策的序列特性。我们提出了MORL-A2C，作为MOPI-HFRS的序列决策扩展，专注于健康与偏好的平衡。MORL-A2C利用冻结的图神经网络嵌入，将推荐问题形式化为K步重排序问题，采用带标量化相关性/健康奖励的优势演员-评论家算法。实验结果表明，MORL-A2C在健康对齐方面显著提升，同时在排名质量上有所下降，验证了政策驱动的序列优化在多目标食品推荐中的有效性。
🔬 方法详解
问题定义：本文旨在解决现有食品推荐系统在饮食决策中未能有效平衡用户偏好与健康的不足，尤其是静态权衡方法无法捕捉序列决策特性的问题。
核心思路：MORL-A2C通过引入序列决策机制和优势演员-评论家算法，优化健康与偏好的平衡，利用冻结的图神经网络嵌入来增强推荐效果。
技术框架：整体架构包括数据预处理、冻结GNN嵌入生成、K步重排序问题的定义、优势演员-评论家算法的实现及行为克隆的热启动过程。
关键创新：MORL-A2C的主要创新在于将序列决策引入多目标优化，利用动态策略优化来有效处理健康与偏好的权衡，区别于传统的静态方法。
关键设计：关键设计包括使用标量化的相关性/健康奖励作为损失函数，采用行为克隆技术进行策略的热启动，以及利用冻结的GNN嵌入来提升推荐的准确性和多样性。
🖼️ 关键图片
📊 实验亮点
在宏观营养基准测试中，MORL-A2C在健康对齐方面显著提升，H-Score@20从46.05%提高至69.57%。尽管排名质量有所下降（Recall@20从25.64%降至23.61%），但整体结果表明其在健康与偏好之间的有效平衡。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在健康饮食推荐系统、个性化营养指导和公共健康政策制定等领域。通过优化用户的饮食选择，能够有效改善公众健康水平，减少与饮食相关的疾病风险，具有重要的社会价值和实际意义。
📄 摘要（原文）
Unhealthy dietary behavior continues to be a persistent public health issue in the United States, exacerbated by recommendation systems that prioritize user preference without considering nutritional health. The Multi-Objective Personalized Interpretable Health-aware Food Recommendation System (MOPI-HFRS), from which this work extends, addresses this by jointly optimizing preference, health, and diversity through Pareto-based optimization. However, this approach relies on static, per-step tradeoff solutions that fail to capture the sequential nature of dietary decision-making. We introduce MORL-A2C, a sequential decision-making extension to MOPI-HFRS targeting the health-preference axis. Leveraging frozen GNN embeddings, MORL-A2C formulates recommendation as a K-step reranking problem using an Advantage Actor-Critic algorithm with a scalarized relevance/health reward. The policy is warm-started via behavior cloning against a dot-product ranker derived from frozen embeddings. We also identify and correct a non-trivial bug in the MOPI-HFRS evaluation pipeline that understated baseline performance; all results are reported against the corrected baseline. On the macro-nutrient benchmark, MORL-A2C achieves a modest reduction in ranking quality (Recall@20: 25.64% to 23.61%, NDCG@20: 23.52% to 20.64%) in exchange for a substantial improvement in health alignment (H-Score@20: 46.05% to 69.57%), with consistent trends on the full-nutrient benchmark. These findings validate that policy-driven sequential optimization can effectively navigate the health-preference trade-off in multi-objective food recommendation.