AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models
作者: Yuanyun Zhang, Shi Li
分类: cs.LG
发布日期: 2026-05-18
💡 一句话要点
AURORA：面向医疗健康领域，通过上下文正交化实现几何表征学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗健康 表征学习 上下文解耦 正交化 预训练模型
📋 核心要点
- 现有医疗健康预训练模型表征易将多种上下文信息纠缠，导致语义不透明和上下文偏移下的不稳定性。
- AURORA将表征分解为正交语义子空间，对应不同上下文因素，并在子空间内学习关系一致性，实现解耦。
- 实验表明，AURORA在临床预测和检索任务中优于基线方法，并提升了解耦性、纯度和鲁棒性。
📝 摘要（中文）
近期的医疗健康领域预训练模型通过大规模自监督学习取得了强大的预测性能，但其潜在表征常常将生理严重程度、干预强度、观察结构和机构工作流程等信息纠缠到共享的嵌入方向中。虽然这对于下游预测有效，但这种表征在语义上是不透明的，并且在上下文变化下不稳定。我们提出了AURORA，一种基于上下文潜在几何的医疗健康表征学习新框架，它通过正交关系对齐实现自适应的不确定性感知表征。AURORA没有优化单一的统一嵌入流形，而是将表征分解为对应于不同上下文因素的正交语义子空间，并在每个子空间内学习关系一致性目标。这产生了语义解耦和几何可解释的潜在空间。在多个临床预测和检索任务中，AURORA始终优于重建、对比和自蒸馏基线，同时显著提高了上下文解耦、邻域纯度和机构分布偏移下的鲁棒性。我们的结果表明，潜在几何本身构成了医疗健康预训练模型设计的重要维度，并且根据上下文语义显式地构建表征空间提供了一个超越传统预测压缩目标的补充方向。
🔬 方法详解
问题定义：现有医疗健康预训练模型虽然在预测任务上表现良好，但其学习到的表征往往将多种上下文信息（如生理严重程度、干预强度等）混合在一起，导致表征的语义信息难以解释，并且在面对新的机构或数据分布时，模型的泛化能力会显著下降。因此，如何学习到解耦且具有良好泛化能力的医疗健康表征是一个关键问题。
核心思路：AURORA的核心思路是将表征空间分解为多个正交的子空间，每个子空间对应一个特定的上下文因素。通过在每个子空间内学习关系一致性，模型可以更好地理解和区分不同的上下文信息，从而实现表征的解耦。这种正交化的设计可以确保不同上下文因素的信息不会相互干扰，从而提高模型的鲁棒性和可解释性。
技术框架：AURORA框架主要包含以下几个模块：1) 表征分解模块：将原始表征分解为多个子空间表征，每个子空间对应一个上下文因素。2) 关系对齐模块：在每个子空间内，学习关系一致性目标，使得相似的样本在子空间内的表征也相似。3) 正交化约束模块：通过正交化约束，确保不同子空间之间的表征相互独立。整体流程是，首先通过表征分解模块将输入数据映射到多个子空间，然后在每个子空间内进行关系对齐，并通过正交化约束来保证子空间之间的独立性。
关键创新：AURORA的关键创新在于其上下文正交化的表征学习方法。与传统的单一嵌入流形方法不同，AURORA将表征空间分解为多个正交的子空间，从而实现了表征的解耦。这种方法能够更好地捕捉不同上下文因素的信息，并提高模型的鲁棒性和可解释性。此外，AURORA还引入了关系对齐模块，使得模型能够更好地理解样本之间的关系。
关键设计：AURORA的关键设计包括：1) 正交化损失函数：用于约束不同子空间之间的表征相互正交。2) 关系一致性损失函数：用于在每个子空间内学习关系一致性目标。3) 自适应权重：用于平衡不同子空间之间的贡献。具体的网络结构和参数设置需要根据具体的任务和数据集进行调整。论文中可能使用了特定的神经网络结构来实现表征分解和关系对齐模块，但具体细节需要参考论文原文。
🖼️ 关键图片
📊 实验亮点
AURORA在多个临床预测和检索任务中取得了显著的性能提升，优于重建、对比和自蒸馏等基线方法。实验结果表明，AURORA能够显著提高上下文解耦性、邻域纯度和机构分布偏移下的鲁棒性。具体的性能数据和提升幅度需要在论文原文中查找。
🎯 应用场景
AURORA可应用于多种医疗健康场景，例如疾病诊断、风险预测、患者检索等。通过学习解耦的表征，模型可以更好地理解患者的病情，并为医生提供更准确的决策支持。此外，AURORA还可以用于构建更鲁棒的医疗健康预训练模型，从而提高模型在不同机构和数据分布下的泛化能力。未来，该方法有望推动医疗健康领域的智能化发展。
📄 摘要（原文）
Recent healthcare foundation models have achieved strong predictive performance through large scale self supervised learning, yet their latent representations frequently entangle physiologic severity, intervention intensity, observational structure, and institutional workflow into shared embedding directions. While effective for downstream prediction, such representations remain semantically opaque and unstable under contextual shift. We introduce AURORA, Adaptive Uncertainty aware Representations through Orthogonalized Relational Alignment, a new framework for healthcare representation learning based on contextual latent geometry. Rather than optimizing a single unified embedding manifold, AURORA decomposes representations into orthogonal semantic subspaces corresponding to distinct contextual factors and learns relational consistency objectives within each subspace. This induces latent spaces that are both semantically disentangled and geometrically interpretable. Across multiple clinical prediction and retrieval tasks, AURORA consistently outperforms reconstruction, contrastive, and self distillation baselines while substantially improving contextual disentanglement, neighborhood purity, and robustness under institutional distribution shift. Our results suggest that latent geometry itself constitutes an important axis of healthcare foundation model design and that explicitly structuring representation space according to contextual semantics provides a complementary direction beyond conventional predictive compression objectives.