Beyond Average Performance: Dynamic Instance Clustering and Specialized Algorithm Design in LLM-Assisted Evolutionary Search

📄 arXiv: 2608.03129v1 📥 PDF

作者: Qinglong Hu, Qingfu Zhang, Fei Liu, Xialiang Tong, Kun Mao, Mingxuan Yuan

分类: cs.AI

发布日期: 2026-08-04

💡 一句话要点

提出DyCA以解决现有LES方法的尾部鲁棒性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 进化搜索 算法设计 动态实例聚类 鲁棒性 机器学习

📋 核心要点

  1. 现有LES方法主要优化平均性能，导致对尾部实例的服务不足，影响整体鲁棒性和可靠性。
  2. 提出DyCA框架，通过动态实例聚类和专门化算法设计，改善对异构实例的适应性和性能。
  3. 实验结果显示，DyCA在多个任务中超越现有基线，尾部鲁棒性提升15.2%，整体性能提升7.1%。

📝 摘要（中文）

大型语言模型辅助的进化搜索（LES）已成为自动化算法设计的强大范式。然而，现有的LES方法主要优化平均性能，导致对某些实例的搜索努力不足，从而影响尾部鲁棒性和实际可靠性。为了解决这一问题，本文提出了动态实例聚类和专门化算法设计（DyCA）框架，采用无特征、结构感知的机制，在异构实例分布下构建可靠的算法组合。DyCA将实例聚类视为搜索过程中的共同演化组件，利用累积的评估数据作为无特征信号，逐步划分具有相似算法响应模式的实例。实验结果表明，DyCA在四个异构实例的算法设计任务中优于现有最先进的LES基线，尾部鲁棒性平均提升15.2%，整体性能提升7.1%。

🔬 方法详解

问题定义：现有的LES方法在优化平均性能时，往往忽视了尾部实例的表现，导致整体鲁棒性不足，无法满足实际应用中的多样性需求。

核心思路：DyCA框架通过动态实例聚类，将实例聚类视为搜索过程中的一个共同演化组件，利用无特征信号逐步划分实例，从而实现更细致的算法设计。

技术框架：DyCA的整体架构包括实例聚类模块、算法设计模块和评估模块。首先，通过聚类分析相似实例，然后基于聚类结果设计专门化算法，最后进行性能评估与反馈。

关键创新：DyCA的核心创新在于将实例聚类与算法设计过程相结合，形成闭环反馈机制，显著提升了对异构实例的适应性和鲁棒性。

关键设计：在DyCA中，采用无特征信号进行实例划分，设计了适应性损失函数以优化不同聚类的算法表现，同时保持了对头部实例的竞争力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyCA在四个算法设计任务中表现出色，尾部鲁棒性平均提升15.2%，整体性能提升7.1%。与现有最先进的LES基线相比，DyCA在保持竞争性头部性能的同时，显著改善了对尾部实例的处理能力。

🎯 应用场景

该研究的潜在应用领域包括自动化算法设计、优化问题求解和机器学习模型选择等。通过提高尾部鲁棒性，DyCA能够在实际应用中提供更可靠的算法组合，适应复杂多变的实例分布，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Model-assisted Evolutionary Search (LES) has emerged as a powerful paradigm for automated algorithm design. However, existing LES methods primarily optimize for average performance, inherently directing search effort toward instances that contribute most to this metric while leaving others poorly served, resulting in weak tail robustness and limited real-world reliability. To address this limitation, we propose Dynamic Instance Clustering and Specialized Algorithm Design (DyCA), an LES framework with a feature-free, structure-aware mechanism for constructing reliable algorithm portfolios under heterogeneous instance distributions. DyCA treats instance clustering as a co-evolving component within the search process, reusing accumulated evaluation data as feature-free signals to progressively partition instances with similar algorithmic response patterns. The uncovered clusters decompose the mixed objective into a set of structure-aware sub-objectives, thereby enabling finer-grained and more adaptive guidance for specialized algorithm design. Experimental results across four algorithm design tasks with heterogeneous instances demonstrate that DyCA outperforms state-of-the-art LES baselines, improving tail robustness by an average of 15.2\% and overall performance by 7.1\% while maintaining competitive head performance.