Breaking Information Islands in Sparse Tuning via Small-World Connectivity
作者: Xianchao Guan, Zijun Xiong, Yifeng Wang, Yubo Cui, Yaowei Wang, Guo-Sen Xie, Xin Li, Zheng Zhang
分类: cs.AI
发布日期: 2026-10-30
备注: Accepted at NeurIPS 2026. 23 pages, 6 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出SWIFT以解决稀疏调优中的信息孤岛问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 稀疏调优 小世界连接 特征交互 信息孤岛 模型微调 自然语言处理 计算机视觉
📋 核心要点
- 现有稀疏调优方法在特征交互拓扑上存在不足，导致信息孤岛现象，限制了模型的有效性。
- SWIFT框架通过小世界连接的灵感，结合块对角稀疏更新与确定性散射置换，增强特征维度间的交互。
- 大量实验结果显示，SWIFT在多个任务上超越了现有的参数高效微调基线，展现出更优的性能。
📝 摘要（中文）
稀疏调优因其参数效率被广泛应用于大型语言模型的适应。然而，其有效性不仅依赖于可训练参数的数量，还受到稀疏更新结构支持的特征交互拓扑的影响。有限或不均匀的连接可能导致特征维度的子集孤立，形成信息孤岛，限制了任务特定交互。为了解决这一问题，本文提出了小世界诱导微调（SWIFT），该框架结合了局部特征混合的块对角稀疏更新和固定的确定性散射置换，能够在不增加可训练参数的情况下，跨特征组路由混合输出。实验表明，SWIFT在常识推理、自然语言生成和图像分类任务中，平均优于现有的参数高效微调基线，甚至可以匹配或超越全微调的效果。
🔬 方法详解
问题定义：本文旨在解决稀疏调优中由于特征交互拓扑不佳而导致的信息孤岛问题。现有方法在连接性不足时，无法有效促进特征维度间的交互，影响模型性能。
核心思路：SWIFT的核心思路是通过小世界连接的设计，结合局部特征混合的块对角稀疏更新和固定的散射置换，来增强特征维度间的交互性，避免信息孤岛的形成。
技术框架：SWIFT的整体架构包括两个主要模块：块对角稀疏更新模块用于局部特征混合，散射置换模块用于跨特征组的输出路由。该框架在不增加额外可训练参数的情况下，提升了特征交互的有效性。
关键创新：SWIFT的创新在于引入了小世界连接的概念，通过散射置换确保了特征维度间的有效连接，显著改善了信息流动性，与传统稀疏调优方法形成了本质区别。
关键设计：SWIFT的设计中，块对角稀疏更新采用等大小、结构密集的方块，确保了特征的有效混合；散射置换则是固定的确定性设计，避免了额外的训练开销。
🖼️ 关键图片
📊 实验亮点
SWIFT在常识推理、自然语言生成和图像分类任务中表现出色，平均超越了现有的参数高效微调基线，且在某些任务上能够匹配或超过全微调的效果，展示了显著的性能提升。
🎯 应用场景
SWIFT的研究成果在自然语言处理、计算机视觉等多个领域具有广泛的应用潜力。通过提高稀疏调优的有效性，SWIFT可以帮助开发更高效的语言模型和图像分类器，推动智能系统在实际任务中的表现和适应能力。未来，该方法可能会影响模型微调的标准实践，促进更高效的模型训练和部署。
📄 摘要（原文）
Sparse tuning is widely used to adapt large language models due to its parameter efficiency. However, its effectiveness depends not only on the number of trainable parameters, but also on the feature-interaction topology of the sparse update's structural support. Limited or uneven connectivity in this support may isolate subsets of feature dimensions, forming information islands that restrict direct task-specific interactions through the trainable update. To address this issue, we propose Small-World Induced Fine-Tuning (SWIFT), a sparse tuning framework inspired by small-world connectivity. SWIFT combines block-diagonal sparse updates for local feature mixing with a fixed deterministic scattering permutation that routes the mixed outputs across feature groups without additional trainable parameters. We further show theoretically that certain random sparse-update models and block-diagonal updates can exhibit information islands, whereas a sufficiently scattering permutation guarantees positive block-level expansion when the trainable block-diagonal factor consists of equal-sized, structurally dense square blocks. Extensive experiments on commonsense reasoning, natural language generation, and image classification demonstrate that SWIFT outperforms the evaluated parameter-efficient fine-tuning (PEFT) baselines on average and can match or surpass full fine-tuning. Implementation is available at https://github.com/xianchaoguan/SWIFT