Cross-Question Method Reuse in Large Language Models: From Word-Level Prediction to Rational Logical-Layer Reasoning

📄 arXiv: 2509.05660v2 📥 PDF

作者: Hong Su

分类: cs.CL

发布日期: 2025-09-06 (更新: 2025-10-16)

💡 一句话要点

提出跨问题方法复用框架，扩展大语言模型在低相似度问题上的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 方法复用 问题求解 知识迁移 推理 解决方案适配 跨领域学习

📋 核心要点

  1. 现有方法在利用大语言模型进行方法复用时，依赖于问题之间的高度相似性，限制了其应用范围。
  2. 该论文提出一种跨问题方法复用框架，通过分离问题和解决方案，并引导LLM进行解决方案迁移，从而扩展方法复用的范围。
  3. 实验结果表明，该方法能够有效提高过滤可复用解决方案的概率，提升跨问题方法复用的效果。

📝 摘要（中文）

大型语言模型（LLMs）已被广泛应用于辅助解决各种问题。先前的工作提出了将方法表示为问题及其对应解决方案的配对，从而实现方法复用。然而，现有方法通常要求问题具有高度相似性。本文扩展了方法复用的范围，以解决相似度较低或具有未明确观察到的隐藏相似性的问题。对于具有一般-特定意义（即范围更广或更窄）的问题，我们建议首先分离问题和解决方案，而不是直接将配对输入LLM。然后引导LLM使解决方案适应新的相关问题，使其专注于解决方案的转移而不是问题识别。此外，我们将此方法扩展到问题仅共享部分特征或隐藏特征的情况。这使得跨问题的方法复用超越了传统的相似性约束。实验验证表明，我们的范围扩展方法提高了过滤可复用解决方案的概率，从而提高了跨问题方法复用的有效性。

🔬 方法详解

问题定义：现有的大语言模型方法复用技术，依赖于问题的高度相似性。当问题相似度较低，或者存在隐藏的、不易察觉的相似性时，现有方法难以有效复用已有的解决方案。这限制了LLM在更广泛问题场景下的应用能力。

核心思路：该论文的核心思路是将问题和解决方案进行解耦，不再直接将问题-解决方案对输入LLM。而是首先识别问题之间的潜在关联，然后引导LLM将已有的解决方案适配到新的问题上。通过关注解决方案的迁移，而非问题识别，从而实现跨问题的方法复用。

技术框架：该方法主要包含以下几个阶段：1) 问题分析：分析新问题与已有问题之间的关系，包括一般-特定关系、部分特征共享关系、隐藏特征关系等。2) 解决方案提取：从已有的问题-解决方案库中，提取与新问题相关的解决方案。3) 解决方案适配：引导LLM将提取的解决方案适配到新问题上，生成新的解决方案。4) 解决方案验证：验证生成的解决方案的有效性。

关键创新：该论文的关键创新在于：1) 提出了问题-解决方案解耦的思想，打破了传统方法对问题相似性的依赖。2) 提出了针对不同类型问题关系的解决方案适配方法，包括一般-特定关系、部分特征共享关系、隐藏特征关系等。3) 扩展了方法复用的范围，使其能够应用于相似度较低或具有隐藏相似性的问题。

关键设计：论文中没有明确给出关键参数设置、损失函数、网络结构等技术细节。但是，解决方案适配阶段可能涉及到prompt工程，通过设计合适的prompt，引导LLM生成新的解决方案。此外，解决方案验证阶段可能需要设计合适的评估指标，评估生成解决方案的质量。

📊 实验亮点

论文通过实验验证了所提出的范围扩展方法能够提高过滤可复用解决方案的概率，从而提高跨问题方法复用的有效性。虽然论文中没有给出具体的性能数据和对比基线，但实验结果表明该方法具有一定的优势。

🎯 应用场景

该研究成果可应用于智能问答系统、代码生成、机器人任务规划等领域。通过扩展大语言模型的方法复用能力，可以提高LLM在复杂问题场景下的解决能力，降低开发成本，并加速知识的迁移和复用。未来，该方法有望应用于更广泛的领域，例如医疗诊断、金融分析等。

📄 摘要（原文）

Large language models (LLMs) have been widely applied to assist in finding solutions for diverse questions. Prior work has proposed representing a method as a pair of a question and its corresponding solution, enabling method reuse. However, existing approaches typically require the questions to be highly similar. In this paper, we extend the scope of method reuse to address questions with low similarity or with hidden similarities that are not explicitly observable. For questions that are similar in a general-specific sense (i.e., broader or narrower in scope), we propose to first separate the question and solution, rather than directly feeding the pair to the LLM. The LLM is then guided to adapt the solution to new but related questions, allowing it to focus on solution transfer rather than question recognition. Furthermore, we extend this approach to cases where questions only share partial features or hidden characteristics. This enables cross-question method reuse beyond conventional similarity constraints. Experimental verification shows that our scope-extension approach increases the probability of filtering out reusable solutions, thereby improving the effectiveness of cross-question method reuse.