Unlocking Multilingual Reasoning Capability of LLMs and LVLMs through Representation Engineering

📄 arXiv: 2511.23231v1 📥 PDF

作者: Qiming Li, Xiaocheng Feng, Yixuan Ma, Zekai Ye, Ruihan Chen, Xiachong Feng, Bing Qin

分类: cs.CV

发布日期: 2025-11-28

💡 一句话要点

提出MRRE，通过表征工程提升LLM和LVLM的跨语言推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言推理 表征工程 大型语言模型 低资源语言 推理时干预

📋 核心要点

  1. 现有LLM和LVLM在低资源语言上的推理能力不足，影响了多语言应用的公平性。
  2. MRRE通过在推理时注入跨语言推理增强向量和目标语言输出锚定向量，提升模型的多语言推理能力。
  3. 实验表明，MRRE在多个模型和基准测试中，显著提升了非英语推理性能和输入输出语言一致性。

📝 摘要（中文）

大型语言模型（LLMs）和大型视觉语言模型（LVLMs）展现出强大的推理能力，但其在英语上的性能明显优于低资源语言，这引发了多语言应用中的公平性问题。现有方法要么依赖于昂贵的多语言训练，要么采用带有外部翻译工具的提示，这两种方法都资源密集且对翻译质量敏感。为了解决这些限制，我们提出了一种无需训练的推理时方法，通过表征工程（MRRE）来增强多语言推理能力，而无需使用任何额外的训练数据或工具。MRRE在推理过程中，于特定层顺序注入两个预先计算的向量：跨语言推理增强向量，它引导非英语推理表征向英语空间靠拢，以解锁多语言推理；以及目标语言输出锚定向量，它恢复目标语言的分布，以保持输入-输出语言的一致性。在四个推理基准上对六个先进的LLM和LVLM进行的全面实验表明，MRRE始终如一地增强了非英语推理能力，平均提升5.48%，在低资源语言（泰语和斯瓦希里语）中最高提升7.54%，同时将输入-输出语言一致性提高了3.78%。

🔬 方法详解

问题定义：论文旨在解决LLM和LVLM在非英语语言，特别是低资源语言上的推理能力不足的问题。现有方法，如多语言训练和依赖翻译工具的prompting，存在资源消耗大、对翻译质量敏感等痛点，限制了其在实际多语言场景中的应用。

核心思路：论文的核心思路是通过表征工程，在模型的推理过程中，对中间层的表征进行微调，使其更接近英语的表征空间，从而利用模型在英语上训练得到的推理能力。同时，为了保证输出语言的一致性，对输出层的表征进行调整，使其更符合目标语言的分布。

技术框架：MRRE方法主要包含两个阶段：首先，预先计算跨语言推理增强向量和目标语言输出锚定向量。然后，在推理阶段，将这两个向量注入到模型的特定层中。具体来说，跨语言推理增强向量被注入到中间层，用于将非英语的推理表征向英语空间对齐；目标语言输出锚定向量被注入到输出层，用于恢复目标语言的分布。整个过程无需额外的训练数据或工具。

关键创新：MRRE的关键创新在于提出了一种无需训练的、推理时的表征工程方法，通过注入预计算的向量来提升模型的多语言推理能力。与现有方法相比，MRRE避免了昂贵的多语言训练和对翻译工具的依赖，更加高效和灵活。

关键设计：跨语言推理增强向量和目标语言输出锚定向量的计算方式未知，论文中没有详细说明。注入向量的具体层数和位置也需要根据不同的模型和任务进行调整。此外，如何选择合适的注入强度，以平衡推理性能和语言一致性，也是一个需要考虑的关键设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MRRE方法在六个先进的LLM和LVLM模型上，对四个推理基准测试均有提升。在非英语推理方面，平均提升了5.48%，在低资源语言（泰语和斯瓦希里语）中最高提升了7.54%。同时，输入-输出语言一致性提高了3.78%。这些结果表明，MRRE是一种有效且通用的多语言推理增强方法。

🎯 应用场景

该研究成果可广泛应用于多语言智能客服、跨语言信息检索、多语言机器翻译等领域。通过提升LLM和LVLM在低资源语言上的推理能力，可以有效缩小不同语言之间的性能差距，促进人工智能技术的公平性和普惠性。未来，该方法有望扩展到更多语言和任务，并与其他多语言学习技术相结合，进一步提升多语言处理能力。

📄 摘要（原文）

Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) demonstrate strong reasoning capabilities, yet their performance in English significantly outperforms that in low-resource languages, raising fairness concerns in multilingual applications. Existing approaches either rely on costly multilingual training or employ prompting with external translation tools, both of which are resource-intensive and sensitive to translation quality. To address these limitations, we propose a training-free inference-time method to enhance Multilingual Reasoning capabilities via Representation Engineering (MRRE) without using any additional training data or tools. MRRE sequentially injects two precomputed vectors at specific layers during inference processing: cross-lingual reasoning enhancement vectors, which steer non-English reasoning representations toward English space to unlock multilingual reasoning, and target-language output anchoring vectors, which restore the distribution of the target language to preserve input-output language consistency. Comprehensive experiments across six advanced LLMs and LVLMs on four reasoning benchmarks demonstrate that MRRE consistently enhances non-English reasoning by an average gain of 5.48% and up to 7.54% in low-resource languages (Thai and Swahili), while improving input-output language consistency by 3.78%.