Soft Token Alignment for Cross-Lingual Reasoning
作者: Jiayi He, Jungsoo Park, Wei Xu, Alan Ritter
分类: cs.CL
发布日期: 2026-06-25
💡 一句话要点
提出SOLAR以解决跨语言推理中的软标记对齐问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨语言推理 软标记对齐 多语言模型 监督微调 低资源语言
📋 核心要点
- 现有多语言模型在不同语言中对语义等价提示的推理结果存在不一致性，导致推理路径的分歧。
- 本文提出SOLAR，通过对软标记表示进行对齐，减少语言特定的词汇选择对推理的影响，使用英语作为对齐的枢轴。
- 在四个多语言推理基准上，SOLAR的准确性提高了最多17.7个百分点，相较于标准监督微调提升了3.8个百分点，尤其在低资源语言上效果显著。
📝 摘要（中文）
多语言大型语言模型在不同语言中对语义等价的提示产生不一致的推理和答案。现有方法表明，中间表示相对语言无关，但生成过程在模型承诺离散输出标记时变得越来越语言特定。为了解决这一问题，本文提出了SOLAR，一种辅助目标，用于监督微调，通过使用英语作为枢轴对齐跨语言的软标记表示。软标记是对词汇嵌入的概率加权混合，能够聚合来自不同语言的语义相关标记的信息。通过在共享嵌入空间中将每个非英语软标记摘要与其英语对应物对齐，SOLAR在四个多语言推理基准上提高了准确性，最大提升达到17.7个百分点，尤其在低资源语言上表现突出。
🔬 方法详解
问题定义：本文旨在解决多语言大型语言模型在不同语言中推理结果不一致的问题。现有方法在生成过程中，语言特定的词汇选择导致语义等价的推理路径出现分歧。
核心思路：论文提出SOLAR，通过对软标记表示进行对齐，利用英语作为枢轴，减少语言特定的影响。软标记是对词汇嵌入的概率加权混合，能够更好地聚合不同语言中语义相关的信息。
技术框架：整体架构包括两个主要阶段：首先生成软标记表示，然后在共享嵌入空间中将非英语软标记摘要与英语对应物进行对齐。通过这种方式，模型能够在多语言推理中保持共享的语义结构。
关键创新：最重要的技术创新点在于引入了软标记对齐的概念，解决了传统方法中因离散输出标记导致的语言特定问题。这一方法与现有基于硬标记的对齐方法本质上不同。
关键设计：在设计中，使用了概率加权的词汇嵌入作为软标记表示，损失函数则用于优化软标记与其英语对应物之间的对齐程度。
🖼️ 关键图片
📊 实验亮点
在实验中，SOLAR在四个多语言推理基准上相较于基线模型提高了最多17.7个百分点，相较于标准监督微调提升了3.8个百分点，尤其在低资源语言上表现出显著的性能提升，显示了其有效性。
🎯 应用场景
该研究的潜在应用领域包括跨语言信息检索、机器翻译和多语言对话系统等。通过提升多语言模型在不同语言间的推理一致性，SOLAR能够增强这些系统的实用性和用户体验，未来可能对全球化的人工智能应用产生深远影响。
📄 摘要（原文）
Multilingual large language models often produce inconsistent reasoning and answers for semantically equivalent prompts in different languages. Prior work suggests that intermediate representations can be relatively language-agnostic, but generation becomes increasingly language-specific as models commit to discrete output tokens. This is problematic because language-specific lexical choices can cause semantically equivalent reasoning paths to diverge across languages. These divergences motivate searching for a cross-lingual alignment signal that is less tied to any single vocabulary item or script. We propose SOLAR, an auxiliary objective for supervised fine-tuning that aligns soft-token representations across languages, using English as a pivot. Soft tokens are probability-weighted mixtures over the vocabulary embeddings, yielding continuous representations that can aggregate information from semantically related tokens across languages. We then align each non-English soft-token summary to its English counterpart in the shared embedding space. Across four multilingual reasoning benchmarks, SOLAR improves accuracy by up to +17.7 points over the base model and +3.8 over standard supervised fine-tuning, with the largest gains on low-resource languages. SOLAR also strengthens final-layer cross-lingual similarity and substantially reduces language-cluster separability, suggesting that aligning soft-token representations helps preserve shared semantic structure during multilingual reasoning.