CIRCE Divines LLM Task Complexity from Constraint Structure

📄 arXiv: 2610.41089v1 📥 PDF

作者: Chenhao Hong, Jiakai Xu, Kaushiki Singh, Yusen Zhang, Eugene Wu

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出CIRCE以评估LLM任务复杂性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务复杂性评估 约束结构 大语言模型 图神经网络 推理基准

📋 核心要点

  1. 现有方法在评估LLM任务复杂性时未能充分利用问题的约束结构，导致预测准确性不足。
  2. CIRCE通过构建约束中间表示，提取问题结构，从而有效评估任务复杂性。
  3. 实验结果显示，使用GNN编码器能显著提高LLM响应的正确性，负对数似然和AUROC均有明显改善。

📝 摘要（中文）

在模型尝试解决问题之前，评估问题是否过于复杂对于指导模型路由、计算资源分配以及新工具的需求具有重要意义。现有的评估方法主要依赖问题文本、LLM标注的任务难度标签或模型尝试解决问题后获得的信号，而未能充分利用问题固有的约束结构。本文提出CIRCE，通过使用廉价的LLM构建约束中间表示，确定性地编译成约束图。在七个推理基准（包括SAT、逻辑和数学）和四个LLM上，即使是随机初始化的GNN编码器也能改善LLM响应正确性的预测，将负对数似然从0.465降低到0.423，AUROC从0.691提高到0.727，相较于每个指标的最强基线都有显著提升。

🔬 方法详解

问题定义：本文旨在解决如何在LLM尝试解决问题之前评估任务复杂性的问题。现有方法主要依赖文本或模型尝试后的信号，未能利用问题的约束结构，导致评估效果不佳。

核心思路：CIRCE的核心思路是通过构建约束中间表示来提取问题的结构信息，从而更准确地评估任务的复杂性。这种方法能够在不依赖于问题文本的情况下，直接利用约束关系进行评估。

技术框架：CIRCE的整体架构包括三个主要模块：首先，使用廉价的LLM生成约束中间表示；其次，将该表示编译成约束图；最后，利用GNN编码器对约束图进行处理，以预测LLM的响应正确性。

关键创新：CIRCE的最大创新在于引入了约束中间表示的概念，能够明确地利用问题的约束结构进行复杂性评估。这一方法与传统依赖文本或模型反馈的方式有本质区别。

关键设计：在设计中，CIRCE采用了随机初始化的GNN编码器，并通过优化负对数似然损失函数来提升预测性能。网络结构的选择和参数设置经过实验验证，确保了模型的有效性和准确性。

📊 实验亮点

实验结果显示，CIRCE显著提高了LLM响应的正确性，负对数似然从0.465降低到0.423，AUROC从0.691提升至0.727，均优于最强基线，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化问题求解和教育技术等。通过准确评估任务复杂性，CIRCE可以帮助模型更有效地分配计算资源，优化任务处理流程，并为开发新工具提供指导，具有重要的实际价值和未来影响。

📄 摘要（原文）

Estimating whether a problem is too complex for a large language model (LLM) before the model attempts it can guide model routing, how to allocate test-time compute, and suggest the need for new tools to aid the agent. While existing estimators rely on the problem text, LLM-annotated task difficulty labels, or signals obtained after a model attempts to solve the problem, such as its hidden states, none explicitly leverage the constraint structure inherent in the problem: the variables to assign and how the constraints over them interact. We introduce CIRCE, which extracts a problem's structure by using a cheap LLM to construct a Constraint Intermediate Representation that deterministically compiles into the constraint graph. Across seven reasoning benchmarks (including SAT, logic, and math) and four LLMs, even a randomly initialized GNN encoder improves predictions of LLM response correctness, reducing negative log-likelihood from 0.465 to 0.423 and increasing AUROC from 0.691 to 0.727 relative to the strongest baseline for each metric.