Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2
作者: Johan Land
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-30
备注: 37 pages, 4 figures; source code available at https://github.com/beetree/ARC-AGI
💡 一句话要点
提出基于模态驱动搜索的整体追踪判断方法以解决ARC-AGI-2问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模态驱动搜索 整体判断 抽象推理 多样候选生成 长上下文提示
📋 核心要点
- 现有方法在处理抽象推理任务时，容易产生自信但错误的推理结果，导致候选选择成为主要挑战。
- 本文提出的求解器通过将推理模态视为搜索操作符，独立生成多样候选，并采用整体判断方法来提高选择的准确性。
- 在ARC Prize半私有评估集上，该求解器达到了72.9%的准确率，超越了现有最佳模型，显示出显著的性能提升。
📝 摘要（中文）
大型语言模型能够为抽象推理任务生成流畅且内部一致的推理轨迹，但仍可能自信地错误，因此在候选项中选择而非仅仅生成成为了核心挑战。本文提出了一种针对ARC-AGI-2的求解器，基于两个原则：将推理模态视为搜索操作符，独立生成文本、图像和代码通道的多样候选项；采用上下文保持的整体判断，评估模型在单个长上下文提示中共同比较所有候选推理轨迹。与自一致性或多数投票不同，该方法在模态答案错误的任务中可靠地恢复正确的少数假设。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在抽象推理任务中自信错误的问题，现有方法在候选选择上存在不足，难以有效识别正确的少数假设。
核心思路：论文提出将推理模态视为搜索操作符，独立生成多样的候选推理轨迹，并通过上下文保持的整体判断来比较这些候选，旨在提高选择的准确性和多样性。
技术框架：整体架构包括三个主要模块：模态生成模块负责独立生成文本、图像和代码的候选；整体判断模块用于在单个长上下文中比较所有候选；最后是评估模块，负责输出最终选择的推理轨迹。
关键创新：最重要的创新在于整体判断方法，它不同于传统的自一致性或多数投票，能够在模态答案错误的情况下更可靠地恢复正确的少数假设。
关键设计：在参数设置上，采用了长上下文提示以保持信息的完整性，损失函数设计上注重候选多样性的保持，网络结构则结合了多模态输入的特性，以增强模型的推理能力。
🖼️ 关键图片
📊 实验亮点
在ARC Prize半私有评估集上，该求解器达到了72.9%的准确率，超越了现有最佳模型GPT-5.2 Pro和Gemini 3 Pro，分别为54.2%和54.0%，提升幅度达到18.7个百分点。在公共评估集上，准确率为76.1%，显示出该方法的优越性。
🎯 应用场景
该研究的潜在应用领域包括教育、智能问答系统和复杂决策支持等场景，能够帮助系统更准确地进行推理和选择，提升人机交互的智能化水平。未来，该方法可能对多模态学习和推理系统的设计产生深远影响。
📄 摘要（原文）
Large language models can produce fluent, internally coherent reasoning traces for abstract reasoning tasks while still being confidently wrong - making selection among candidates, not just generation, the central challenge. I present a solver for ARC-AGI-2, a few-shot visual reasoning benchmark, built around two principles: (i) treating reasoning modalities as search operators, generating diverse candidates independently across text, image, and code channels, and (ii) context-preserving holistic judging, in which a judge model jointly compares all candidate reasoning traces within a single long-context prompt. Unlike self-consistency or majority voting, this approach reliably recovers correct minority hypotheses on tasks where the modal answer is wrong. On the ARC Prize semi-private evaluation set, the solver achieves 72.9 percent at USD 38.99 per task - the highest score on the verified leaderboard at the time of writing, exceeding the best standalone frontier models, GPT-5.2 Pro at 54.2 percent and Gemini 3 Pro at 54.0 percent, by +18.7 percentage points. On the public evaluation set, it achieves 76.1 percent at USD 19.69 per task. I release the full source code and document extensive negative results, including the finding that prescriptive prompting templates and iterative refinement systematically reduce hypothesis diversity and degrade performance.