STAR-OPD: Structured Aspect-Cascade-Aware On-Policy Reward Distillation for ABSA Quadruple Extraction
作者: Tong Sun, Mingyang Ma, Jiayang Yu
分类: cs.CL, cs.AI
发布日期: 2026-08-21
💡 一句话要点
提出STAR-OPD以解决ABSA四元组提取中的蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感分析 ABSA 蒸馏训练 结构化奖励 自然语言处理 模型优化 机器学习
📋 核心要点
- 现有的蒸馏方法在ABSA四元组提取中存在结构无效状态的问题，导致下游预测错误。
- STAR-OPD通过在学生回滚上进行在线蒸馏，使用结构化奖励来解决目标与方面的绑定一致性问题。
- 实验结果显示，STAR-OPD在多个基准数据集上显著提高了性能，尤其是在结构复杂的案例中。
📝 摘要（中文）
基于方面的情感分析（ABSA）四元组提取需要同时预测目标、方面、意见和情感，而现有的大型链式思维模型在此任务上表现良好，但将其蒸馏为小型可部署模型仍然困难。本文识别了蒸馏ABSA提取中的特定失败模式，提出了STAR-OPD（结构化方面级联感知的在线奖励蒸馏），该方法通过在学生回滚上训练并应用结构化奖励，直接针对绑定一致性、目标定位和细粒度方面消歧进行优化。实验结果表明，STAR-OPD在E-ABSA20K和SemEval-2014数据集上表现优于传统的离线和一般在线基线，显著减少了目标幻觉，并在结构复杂的案例中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决ABSA四元组提取中蒸馏模型的结构无效状态问题，现有的离线蒸馏方法无法有效处理学生模型在目标与方面接口处的错误，导致预测结果不准确。
核心思路：STAR-OPD的核心思路是通过在线蒸馏方法，直接在学生模型的回滚上进行训练，使用结构化奖励来强化目标与方面的绑定一致性，从而避免结构无效状态的产生。
技术框架：STAR-OPD的整体架构包括学生模型的回滚生成、结构化奖励的计算和模型更新三个主要模块。首先生成学生模型的回滚，然后根据绑定一致性等标准计算奖励，最后更新学生模型以优化其性能。
关键创新：STAR-OPD的主要创新在于引入了结构化奖励机制，针对ABSA四元组提取的特定需求进行优化，与传统的离线蒸馏方法相比，能够更有效地处理结构性错误。
关键设计：在设计上，STAR-OPD使用了针对目标绑定和方面消歧的特定损失函数，并在网络结构中引入了级联感知模块，以增强模型的结构理解能力。
🖼️ 关键图片
📊 实验亮点
在E-ABSA20K和SemEval-2014数据集上的实验结果表明，STAR-OPD在性能上显著优于传统的离线和一般在线基线，减少了目标幻觉现象，并在结构复杂的案例中提升了性能，展示了其在ABSA任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括情感分析、市场调研和社交媒体监测等。通过提高ABSA四元组提取的准确性，STAR-OPD能够帮助企业更好地理解消费者情感，优化产品和服务。未来，该方法可能在其他自然语言处理任务中得到推广，提升模型的推理效率和准确性。
📄 摘要（原文）
Aspect-based sentiment analysis (ABSA) quadruple extraction requires jointly predicting target, aspect, opinion, and sentiment over reviews that often contain multiple fine-grained sentiment tuples. While large chain-of-thought (CoT) models perform well on this task, distilling them into smaller deployable models remains difficult. We identify a task-specific failure mode in distilled ABSA extraction: student errors at the target-aspect interface create structurally invalid states, such as broken target-aspect bindings and hallucinated targets, which then corrupt downstream predictions. Conventional off-policy distillation is poorly suited to this setting because it trains only on teacher-generated trajectories and provides little supervision on the student-induced structural states that dominate inference. To address this mismatch, we propose STAR-OPD (STructured Aspect-cascade-aware On-Policy Reward Distillation), which builds on generic on-policy distillation and instantiates it for ABSA quadruple extraction with cascade-aware, set-structured rewards. STAR-OPD trains on student rollouts and applies set-structured rewards that directly target binding consistency, target grounding, and fine-grained aspect disambiguation. Experiments on E-ABSA20K and SemEval-2014 show that STAR-OPD consistently outperforms off-policy and general on-policy baselines, reduces target hallucination, and substantially improves performance on structurally hard cases. With Qwen3-4B, STAR-OPD substantially narrows the student-teacher gap while improving inference efficiency, highlighting the importance of on-policy structural correction for distilled ABSA extraction.