RubriX: A Fast, Fine-Tunable Non-Autoregressive Rubric Judge

📄 arXiv: 2610.34875v1 📥 PDF

作者: Balamurugan Paramasivam, Sudalai Rajkumar

分类: cs.CL

发布日期: 2026-10-26

备注: 12 pages, 6 figures, 3 tables. Model: https://huggingface.co/CobuildX-AI/RubriX-8B

💡 一句话要点

提出RubriX以解决基于评分标准的评估效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 评分标准评估 对比语言模型 非自回归模型 高效评估 自动评分系统

📋 核心要点

  1. 现有的基于评分标准的评估方法通常需要逐级生成文本，导致计算成本高且效率低下。
  2. RubriX通过对比语言模型的架构设计，采用LoRA适配的编码器来嵌入输入和评分级别描述，从而实现快速判断。
  3. RubriX在多个基准测试中表现出色，准确率达到75.4%，并且在延迟方面显著优于现有模型，提升幅度达到7.7倍以上。

📝 摘要（中文）

基于评分标准的评估通常需要对每个判断进行生成调用，导致成本随评分标准的复杂度增加。本文提出RubriX，一种非自回归的评分标准评估模型，其架构受到对比语言模型的启发。RubriX通过LoRA适配的编码器嵌入输入和每个评分级别描述，并通过缩放余弦相似度的softmax计算每个级别的概率，无需文本生成。RubriX在持出评分标准上达到75.4%的准确率，显著高于其他基线模型，并在大多数人类标注的基准集上表现优异，同时保持较低的延迟。

🔬 方法详解

问题定义：本文旨在解决基于评分标准的评估方法在计算效率和准确性方面的不足，现有方法需要逐级生成文本，导致成本和延迟增加。

核心思路：RubriX的核心思路是利用对比语言模型的架构，通过嵌入输入和评分级别描述，计算它们之间的相似度，从而快速判断评分级别，而无需生成文本。

技术框架：RubriX的整体架构包括一个LoRA适配的编码器，用于嵌入输入和每个评分级别描述，接着通过缩放余弦相似度计算每个级别的概率，最终输出判断结果。

关键创新：RubriX的主要创新在于其非自回归的设计，避免了传统方法中的文本生成过程，使得评估速度大幅提升，同时保持高准确性。

关键设计：RubriX采用了LoRA适配的编码器，优化了嵌入过程，并通过缓存评分级别的嵌入来降低延迟，确保在评分级别描述长度增加时仍能保持较低的判断延迟。

📊 实验亮点

RubriX在持出评分标准上达到了75.4%的准确率，显著高于TypeSafe的Jev（57.1%）和Qwen3-8B（49.8%）。在延迟方面，RubriX在描述长度为3000个标记时的判断延迟约为28毫秒，远低于Jev的211毫秒和Qwen3-8B的516毫秒，显示出7.7倍和18.8倍的速度优势。

🎯 应用场景

RubriX在教育评估、自动评分系统和人机交互等领域具有广泛的应用潜力。其高效的评估能力可以帮助教育工作者快速反馈学生表现，提高学习效果。此外，RubriX的设计理念也可扩展到其他需要快速判断的场景，如内容审核和质量控制等。

📄 摘要（原文）

Rubric-based evaluation asks which level of a rubric a response meets. It is usually done by prompting a large language model (LLM) as a judge, which needs a generative call per judgment and reads every level description, so its cost grows with the rubric. We present RubriX, a rubric judge whose architecture is inspired by contrastive language models (CLM): a LoRA-adapted encoder embeds the input and each level description, and a softmax over scaled cosine similarities gives a probability for every level without text generation. Trained on public rubric data and proprietary synthetic data, RubriX reaches 75.4% exact accuracy on held-out rubrics, against 57.1% for TypeSafe's Jev and 49.8% for a Qwen3-8B judge. On eight human-labelled benchmark sets it is within 6 percentage points of Jev's accuracy on most of them, while Jev keeps a larger lead on two and ranks responses best on average; against the results reported in the G-Eval paper, RubriX outperforms G-Eval with GPT-3.5 on every SummEval dimension and both QAGS subsets. With level embeddings cached, RubriX's latency stays at about 28 ms per judgment as level descriptions grow from 10 to 3,000 tokens, while Jev's (approximate network time subtracted) rises from 44 ms to 211 ms and the Qwen3-8B judge's from 32 ms to 516 ms, making RubriX 7.7x faster than Jev and 18.8x faster than the Qwen3-8B judge at 3,000 tokens per level.