Fine-Tuning Qwen3-27B for C-to-Rust Code Translation: A Three-Stage Curriculum of Pretraining, Debugging-Aware SFT, and Task-Specific SFT
作者: Pu Zhao, Changdi Yang, Yixiao Chen, Yi Gao, Yifan Cao, Haochen Zeng, Yanzhi Wang
分类: cs.SE, cs.AI, cs.ET
发布日期: 2026-08-13
💡 一句话要点
提出三阶段微调方案以解决C到Rust代码翻译问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码翻译 大型语言模型 Rust编程 C语言 微调技术 软件工程 调试能力
📋 核心要点
- 现有的LLMs在C到Rust的代码翻译任务中表现不佳，主要由于缺乏针对Rust的专门训练和调试能力。
- 论文提出了一种三阶段的微调课程，包括Rust语料库预训练、调试意识的监督微调和任务特定的微调。
- 实验结果显示，经过微调的模型在成功率和符合性方面显著优于基线Qwen3-27B和其他LLMs。
📝 摘要（中文）
将C代码翻译为安全、符合Rust习惯的代码是软件工程中的长期目标，因为这可以消除大量内存安全漏洞，同时保留遗留系统的功能行为。尽管大型语言模型（LLMs）在此任务上展现出潜力，但通常在未经过微调的情况下表现不佳，因为通用预训练往往未强调符合Rust习惯的生成、跨语言语义等价性或处理编译器/运行时反馈的能力。本文描述了一种针对Qwen3-27B的三阶段微调课程，旨在逐步专门化模型以完成C到Rust的翻译任务：首先在以Rust为中心的语料库上继续预训练；其次在microsoft/Verus_Training_Data数据集上进行监督微调，以培养对Rust代码的调试和自修复能力；最后在LeetCode问题的配对C/Rust解决方案上进行任务特定的微调。我们使用SACTOR框架评估模型，并报告成功率、符合性和失败模式分析。
🔬 方法详解
问题定义：本文旨在解决C代码到Rust代码的翻译问题，现有方法在处理Rust的习惯用法和调试反馈时存在不足，导致翻译质量不高。
核心思路：通过三阶段的微调课程，逐步增强模型对Rust语法和标准库的理解，同时培养其调试和自修复能力，以提高翻译的准确性和安全性。
技术框架：整体流程包括三个主要阶段：第一阶段是对Rust语料库的继续预训练，第二阶段是基于microsoft/Verus_Training_Data数据集的监督微调，第三阶段是针对LeetCode问题的任务特定微调。
关键创新：最重要的创新在于引入了调试意识的监督微调和任务特定微调，使模型能够更好地理解和生成符合Rust习惯的代码，显著提升了翻译质量。
关键设计：在微调过程中，采用了特定的损失函数和参数设置，以确保模型在生成Rust代码时能够遵循最佳实践，并有效处理编译器反馈。具体的网络结构和训练策略未在摘要中详细说明，需参考原文以获取更多信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过三阶段微调的Qwen3-27B模型在成功率和符合性方面显著提升。具体而言，模型在翻译过程中成功率提高了XX%，符合性指标（如Clippy lint计数和不安全代码比例）也得到了显著改善，具体数据需参考原文。
🎯 应用场景
该研究的潜在应用领域包括软件迁移、遗留系统的现代化以及安全性提升等。通过将C代码安全地转换为Rust，开发者可以减少内存安全漏洞，提高系统的稳定性和安全性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Translating C code into safe, idiomatic Rust is a longstanding software-engineering goal because it can eliminate entire classes of memory-safety vulnerabilities while preserving the functional behavior of legacy systems. Large language models (LLMs) have shown promise for this task but typically underperform when applied off-the-shelf, since general-purpose pretraining rarely emphasizes idiomatic Rust generation, cross-language semantic equivalence, or the ability to reason about and repair compiler/runtime feedback. In this report we describe a three-stage fine-tuning curriculum applied to Qwen3-27B that is designed to progressively specialize the model for the C-to-Rust (C2Rust) translation task: (1) continued pretraining on Rust-centric corpora to strengthen the model's prior over idiomatic Rust syntax and standard-library usage; (2) supervised fine-tuning (SFT) on the microsoft/Verus_Training_Data dataset to instill debugging and self-repair behavior over Rust code; and (3) task-specific SFT on paired C/Rust solutions derived from LeetCode problems to teach direct semantic translation. We evaluate the resulting model using the agentic, static-analysis-guided verification framework of SACTOR, which performs structure-aware, two-phase (unidiomatic to idiomatic) translation with foreign-function-interface (FFI)-based end-to-end (E2E) testing. We report success rate, idiomaticity (Clippy lint counts, unsafe-code fraction), and failure-mode analyses, and compare our fine-tuned model against baseline Qwen3-27B and other LLMs evaluated under the same framework.