Mesh-Native Tokenisation: Retrofitting Foundation Models to Unstructured Data
作者: Georg Maierhofer, Miles Cranmer, Payel Mukhopadhyay
分类: cs.CE, cs.AI, math.NA
发布日期: 2026-10-08
💡 一句话要点
提出Mesh-Native卷积以解决非结构化数据的建模问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理基础模型 非结构化数据 卷积神经网络 Mesh-Native卷积 科学计算 模型迁移 高效训练
📋 核心要点
- 现有的卷积编码器无法处理在非结构化网格上表示的数据，限制了物理仿真器的可移植性。
- 提出Mesh-Native卷积（MNC），一种局部感知的分词层，能够有效编码非结构化网格数据，类似于CNN。
- 该方法在零样本部署中表现良好，经过少量微调后超越现有基线，展示了其高效性和适应性。
📝 摘要（中文）
物理基础模型是一种日益流行的构建时空系统多功能仿真器的方法。它们需要将物理场数据提升到适合动态处理的潜在表示的分词层。传统上，卷积编码器被用作此层，但无法应用于在非结构化网格上表示的数据。本文提出了Mesh-Native卷积（MNC），一种局部感知的分词层，能够以类似于卷积神经网络（CNN）的方式编码非结构化网格数据。这种方法使得模型可以在网格数据上训练一次，然后在任意不规则的非结构化网格上部署，几乎不需要重新训练。实验表明，该方法在零样本部署中也能达到可接受的准确性，并在少量微调后超越现有基线，提供了两种数据模式之间的高效桥梁。
🔬 方法详解
问题定义：本文旨在解决现有卷积编码器无法处理非结构化网格数据的问题。这种限制使得物理仿真器在不同数据模式之间的可移植性受到影响。
核心思路：提出Mesh-Native卷积（MNC），通过局部感知的方式编码非结构化网格数据，保持与传统卷积神经网络（CNN）相似的特性，以便于模型的迁移和应用。
技术框架：整体架构包括数据输入、Mesh-Native卷积层、潜在表示生成和模型输出等主要模块。该框架能够在训练时有效处理非结构化网格数据，并在部署时适应不同的网格结构。
关键创新：最重要的技术创新在于MNC的设计，使得模型能够在不同的非结构化网格上进行高效的训练和部署，克服了传统方法的局限性。
关键设计：在网络结构上，MNC采用了局部感知机制，结合了适应性损失函数和优化算法，以提高训练效率和模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Mesh-Native卷积在零样本部署中达到了可接受的准确性，并在经过少量微调后，性能超越了现有基线，提升幅度显著，证明了该方法的有效性和高效性。
🎯 应用场景
该研究的潜在应用领域包括物理仿真、工程设计和科学计算等领域，能够有效处理复杂的非结构化数据，提升模型的适应性和效率。未来，该方法可能推动更多领域的跨模态学习和数据共享，促进科学研究的进展。
📄 摘要（原文）
Physics foundation models are an increasingly popular approach for building versatile emulators for spatiotemporal systems. They require tokenisation layers that lift physical field data into a latent representation suitable for dynamic processing. A typical choice for this layer is a convolutional encoder, which lifts field information in a locality-aware way and can be trained very efficiently. However, this choice cannot be applied to a large class of scientific computing problems where data are represented on unstructured meshes, for example simulations on domains with curved boundaries. Such data typically require graph neural network architectures, which are more expensive to train and, in the form currently used, encode information differently from their CNN counterparts, thus limiting the portability of physics emulators between these data regimes. In this work we introduce Mesh-Native Convolution (MNC), a locality-aware tokenisation layer that encodes unstructured mesh-based data in a way that is analogous to CNNs. This approach leads to models that can be trained once on mesh data and then deployed to arbitrary unstructured meshes, even if these are irregular, with minimal retraining. We show that this tokenisation approach can be used to retrofit grid-pretrained foundation models efficiently on unstructured meshes and provide theoretical results to confirm the consistency of this approach with classical CNN encoders. We demonstrate the favourable performance of this retrofitting approach, which in many cases reaches acceptable accuracy even in zero-shot deployment, and outperforms existing baselines after only a few epochs of fine-tuning, thus providing an efficient bridge between the two data regimes.