TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation

📄 arXiv: 2603.00025 📥 PDF

作者: Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Ashley Hagaman, Sarah R. Lowe, Aimee Kendall Roundtree

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出TAB-PO以解决低编辑距离下的偏好优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好优化 结构化生成 自然语言处理 信息提取 深度学习

📋 核心要点

  1. 现有的直接偏好优化方法在处理本体驱动的结构化预测时存在梯度稀释和token侵蚀的问题，导致性能下降。
  2. 论文提出了一种混淆感知的偏好构建策略，并引入TAB-PO，通过信心门控的token级障碍来优化偏好学习。
  3. 在SciERC任务上，TAB-PO在本体关键指标上平均提升11.59%，并在与其他DPO变体的比较中表现优异。

📝 摘要（中文）

直接偏好优化（DPO）是一种有效的离线对齐方法，但在本体驱动的结构化预测中表现不佳，尤其是在偏好和拒绝的JSON对象仅在少数模式定义的token上有所不同的情况下。为了解决这一问题，论文首先提出了一种混淆感知的偏好构建策略，结合专家策划的模糊模式和从验证集SFT预测中估计的结构错误模式，合成最小扰动的、符合模式的负样本，聚焦于现实的本体级决策错误。接着，论文引入了Token-Adaptive Barrier Preference Optimization（TAB-PO），作为一种针对token关键结构生成的后SFT目标。TAB-PO通过引入一个信心门控的token级障碍，应用监督锚定于不自信的模式token上。实验结果表明，TAB-PO在SciERC科学信息提取任务上，平均提升了11.59%的本体关键语义标签和关系链接指标，且在这些指标上100%胜过最强的token级和序列级DPO变体，超越领先的前沿模型14.71%，同时在文本基础上也取得了显著提升。

🔬 方法详解

问题定义：论文要解决的具体问题是现有的直接偏好优化（DPO）方法在低编辑距离的结构化预测中表现不佳，尤其是在偏好和拒绝的JSON对象仅在少数token上有所不同的情况下，导致梯度稀释和token侵蚀现象。

核心思路：论文的核心解决思路是通过混淆感知的偏好构建策略，结合专家策划的模糊模式和结构错误模式，合成符合模式的负样本，从而聚焦于本体级决策错误的偏好学习。引入的TAB-PO方法通过信心门控的token级障碍来优化不自信的模式token。

技术框架：整体架构包括两个主要模块：首先是混淆感知的偏好构建模块，生成符合模式的负样本；其次是TAB-PO模块，通过信心门控机制对token进行优化。

关键创新：最重要的技术创新点在于引入了token级障碍机制，使得在偏好学习过程中能够更有效地聚焦于不自信的模式token，显著改善了现有方法的不足。

关键设计：关键设计包括信心门控的token级障碍的实现方式，以及损失函数的设置，确保在训练过程中能够有效地引导模型关注重要的token。具体的参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，TAB-PO在SciERC科学信息提取任务上，平均提升了11.59%的本体关键语义标签和关系链接指标，并在所有比较中100%胜过最强的token级和序列级DPO变体，超越领先的前沿模型14.71%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的结构化生成任务，如信息提取、对话系统和自动摘要等。通过优化偏好学习，TAB-PO能够提高模型在处理复杂结构化数据时的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Direct Preference Optimization (DPO) is an effective and widely adopted approach for offline alignment but is poorly matched to ontology-driven structured prediction, where preferred and rejected JSON objects often differ in only a few schema-defining tokens. In this low-edit-distance regime, sequence-level DPO spreads gradient mass across non-critical serialization tokens (gradient dilution) and can reduce likelihood on rare, under-confident preferred schema tokens (token erosion). To address these limitations, we first develop a confusion-aware preference-construction strategy that augments expert-curated ambiguity patterns with empirical structured-error modes estimated from validation-set SFT predictions, synthesizing minimally perturbed, schema-valid negatives that focus preference learning on realistic ontology-level decision errors. We then introduce Token-Adaptive Barrier Preference Optimization (TAB-PO), a post-SFT objective for token-critical structured generation. TAB-PO adds a confidence-gated token-level barrier that applies supervised anchoring to under-confident schema tokens. On the public SciERC scientific information extraction task, evaluated with Llama/Qwen models from 1.5B to 70B, TAB-PO improves ontology-critical semantic-label and relational-linking metrics over SFT by 11.59% on average, wins 100% of comparisons against the strongest token-level and sequence-level DPO variants on these metrics, and surpasses leading frontier models by 14.71%, while delivering strong gains in textual grounding.