ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning

📄 arXiv: 2609.39294v1 📥 PDF

作者: Jinsung Jeon, Seung-won Hwang

分类: cs.AI

发布日期: 2026-09-30

备注: Accepted to EMNLP 2026. 16 pages, 7 figures. Code available at https://github.com/Jinsung-Jeon/ANI_EMNLP

💡 一句话要点

提出ANI以解决大语言模型中的数值推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数值推理 大语言模型 自适应数值注入 上下文感知 数值嵌入

📋 核心要点

  1. 现有方法在数值推理中面临数字碎片化和语义忽视的问题，影响了大语言模型的算术能力。
  2. 本文提出的ANI框架通过上下文感知的门控机制，选择性地将数值嵌入注入潜在空间，结合了语义和算术的优势。
  3. 实验结果表明，ANI在MATH任务上比基线模型提升了9.5分，同时在语言理解任务上表现稳定。

📝 摘要（中文）

精确的数值推理对于扩展大语言模型（LLMs）在复杂现实任务中的应用至关重要。然而，基于文本的标记化常常会将数字碎片化，显著阻碍精确的算术推理。同时，尽管数值嵌入在算术精度上表现良好，但它们依赖于上下文无关的替代，忽视了数字作为标识符的语义角色。为此，本文提出了ANI（自适应数值注入），一个混合框架，根据语义上下文选择性地注入数值特征。通过采用上下文感知的门控机制，ANI能够在潜在空间中选择性地注入数值嵌入（特别是FoNE），明确保留名义标识符，同时增强定量操作数。通过对多种LLMs的广泛评估，我们证明ANI在MATH性能上比官方参考模型提升了9.5分，同时在一般语言基准上保持了稳健的表现。

🔬 方法详解

问题定义：本文旨在解决大语言模型在数值推理中的精确性问题，现有方法由于数字碎片化和语义忽视，导致算术推理能力不足。

核心思路：ANI框架通过上下文感知的门控机制，选择性地将数值嵌入注入到潜在空间中，旨在结合数值的语义角色与算术精度。

技术框架：整体架构包括输入文本的预处理、上下文感知的门控机制、数值嵌入的选择性注入以及最终的推理模块，确保数值信息的有效利用。

关键创新：ANI的主要创新在于其上下文感知的选择性注入机制，区别于传统方法的上下文无关替代，能够更好地保留数值的语义信息。

关键设计：在设计中，采用了FoNE作为数值嵌入，结合特定的损失函数和网络结构，以优化数值推理的性能。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ANI在MATH任务上比官方参考模型提升了9.5分，显著提高了数值推理的准确性。同时，在一般语言基准测试中，ANI保持了稳健的性能表现，证明了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括金融分析、科学计算和智能问答系统等，能够显著提升大语言模型在处理复杂数值推理任务时的准确性和可靠性。未来，ANI框架有望推动更多领域的智能应用，提升人机交互的智能化水平。

📄 摘要（原文）

Precise numerical reasoning with Large Language Models (LLMs) is essential for expanding their applicability to complex real-world tasks. However, text-based tokenization often fragments numbers, significantly hindering precise arithmetic reasoning. Meanwhile, numerical embeddings, despite arithmetic precision, rely on context-agnostic substitution that disregards the semantic role of numbers as identifiers. To combine the complementary strengths, we propose \textbf{ANI (Adaptive Numerical Injection)}, a hybrid framework that governs the selective injection of numerical features based on the semantic context. By employing a context-aware gating mechanism, we selectively inject numerical embeddings (specifically FoNE) into the latent space, explicitly preserving nominal identifiers while enhancing quantitative operands. Through extensive evaluations across various LLMs, we demonstrate that ANI enhances MATH performance by 9.5 points over the official reference model, while maintaining robust performance on general linguistic benchmarks.