Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

📄 arXiv: 2606.11854v1 📥 PDF

作者: Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-06-10

💡 一句话要点

提出ART方法以优化多模态大语言模型的微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 微调技术 强化训练 视觉输入优化 高吞吐量引擎

📋 核心要点

  1. 现有的微调技术如LoRA和软提示在高吞吐量引擎中存在兼容性问题，限制了其应用。
  2. ART方法通过优化视觉输入而非修改模型结构，实现了对冻结多模态大语言模型的有效微调。
  3. 实验结果显示，ART在多个基准测试中达到了与LoRA相当的准确性，证明了其有效性。

📝 摘要（中文）

本文提出了一种新的微调方法ART（基于艺术的强化训练），旨在解决现有的参数高效微调技术在高吞吐量引擎中的局限性。传统的低秩适应（LoRA）和软提示方法都需要修改预编译的计算图，导致在某些高效引擎中不被支持。ART通过优化冻结的多模态大语言模型的原始视觉输入，允许在不修改计算图的情况下进行微调。实验结果表明，ART在多个文本基准上表现出与LoRA相当的准确性，尤其在数学和结构化工具使用基准中表现突出。

🔬 方法详解

问题定义：本文旨在解决现有微调技术在高吞吐量引擎中不兼容的问题，特别是LoRA和软提示方法需要修改计算图的局限性。

核心思路：ART方法通过优化冻结的多模态大语言模型的原始视觉输入，避免了对计算图的修改，从而实现了有效的微调。这种设计使得在不改变模型结构的情况下，仍能进行灵活的任务适应。

技术框架：ART的整体架构包括三个主要模块：首先，输入原始视觉数据；其次，通过反向传播优化视觉输入；最后，将优化后的视觉输入用于微调模型的任务相关性。

关键创新：ART的核心创新在于其能够在不修改计算图的情况下，通过优化视觉输入实现微调。这与传统方法的本质区别在于，ART不需要引入额外的权重或修改模型结构。

关键设计：在ART中，关键的设计包括对视觉输入的优化策略，以及损失函数的选择，使得优化过程能够有效地反映任务的需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ART在多个文本基准测试中达到了与LoRA相当的准确性，尤其在数学和结构化工具使用基准中，ART的表现与LoRA相竞争，展示了其在多模态微调中的有效性和潜力。

🎯 应用场景

ART方法在多模态大语言模型的微调中具有广泛的应用潜力，尤其适用于需要高效计算资源的场景。其能够在不改变模型结构的情况下，快速适应不同任务，具有重要的实际价值。未来，ART可能会在智能助手、自动驾驶、图像理解等领域发挥重要作用。

📄 摘要（原文）

There are two main Parameter-Efficient Fine-Tuning (PEFT) techniques for Large Language Models (LLMs). While Low-Rank Adaptation (LoRA) introduces additional weights between the LLM layers, Soft Prompting introduces additional fine-tuning-specific raw tokens to an LLM input. However, both require modification to the computational graphs of precompiled, preoptimized LLMs. As a result, neither is fully supported in high-throughput engines like vLLM. We propose fine-tuning with ART (Art-based Reinforcement Training). The method injects information into a frozen Multimodal Large Language Model (MLLM) by optimizing only its raw visual input, thus enabling the soft-token approach on pre-compiled computational graphs. It relies on backpropagation of gradients back into a plain pixel array and thus supports any fine-tuning objective. Moreover, the optimized visual input can be stylized as task-relevant computational artworks. The approach's effectiveness is confirmed for different sizes of a popular open Qwen architecture and for several textual benchmarks. Specifically, ART reaches accuracy competitive with LoRA across mathematics and structured-tool-use benchmarks.