ReCast: Contract-Preserving Protection for Fixed-Interface Multimodal Reasoning

📄 arXiv: 2610.01184v1 📥 PDF

作者: Bingchen Pei, Lichong Chen, Bingxi Zhao, Ziang Wu, Sirui Wang, Min Zhang, Yanhao Chen, Qingxu Liu, Qiang Gao, Chang-Tien Lu, Bo Gao

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-10-01

备注: 24 pages, 10 figures

💡 一句话要点

提出ReCast以解决多模态推理中的隐私保护问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 隐私保护 数值映射 内容重构 模型蒸馏

📋 核心要点

  1. 现有方法在处理多模态推理时，发送私有输入存在泄露敏感内容的风险，且文本消毒无法满足固定媒体接口的需求。
  2. ReCast通过代理插件框架替换源特定内容，保持任务相关关系，并实现输入的本地转换和重构。
  3. 在实验中，ReCast在多个数据集上表现优异，准确率达到75.10%，显著减少了源内容的泄露风险。

📝 摘要（中文）

远程多模态模型在图表和语音的数值推理方面表现出色，但发送私有输入存在泄露敏感内容的风险。仅依赖文本消毒无法满足固定媒体接口的需求，而身份匿名化则可能暴露任务内容。为此，本文提出了ReCast，一个代理插件框架，能够在保持任务相关关系和所需输入模态的同时，替换源特定内容。ReCast将输入本地转换为共享的文本证据-查询记录，利用蒸馏的4B模型共同重写实体和主题，并通过局部可逆的角色感知数值映射替换值。重构代理生成并验证所需媒体，远程求解器返回的程序在执行前会本地恢复受保护的操作数。在4000个ChartQA和NMSQA示例上，ReCast实现了75.10%的准确率，保留了92.43%的未保护远程准确率，同时模型审计标记出7.95%的求解请求存在源内容泄露。它超越了所有评估的本地基线，保留了远程推理的优势，同时降低了源内容的暴露。

🔬 方法详解

问题定义：本文旨在解决远程多模态推理中私有输入泄露的问题。现有方法如文本消毒和身份匿名化无法有效保护敏感内容，导致隐私风险。

核心思路：ReCast框架通过本地转换和重构输入，替换源特定内容，同时保持任务相关性和输入模态，确保隐私保护。

技术框架：ReCast的整体架构包括输入转换模块、内容重写模块和重构代理。输入首先被转换为共享的文本证据-查询记录，然后通过蒸馏模型重写实体和主题，最后重构所需媒体。

关键创新：ReCast的主要创新在于其局部可逆的角色感知数值映射和重构代理的设计，使得在保持推理能力的同时有效保护源内容。

关键设计：在模型设计中，使用了蒸馏的4B模型进行内容重写，确保了高效性和准确性。同时，采用了特定的损失函数来优化重构质量和隐私保护效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ReCast在4000个ChartQA和NMSQA示例上实现了75.10%的准确率，保留了92.43%的未保护远程准确率，且仅有7.95%的请求被标记为源内容泄露，显著优于所有评估的本地基线。

🎯 应用场景

ReCast的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理敏感数据的多模态推理任务中，如医疗数据分析、金融数据处理和个人隐私保护等。通过有效保护用户隐私，ReCast可以促进更安全的人工智能应用和服务的发展。

📄 摘要（原文）

Remote multimodal models offer strong numerical reasoning capabilities over charts and speech, but sending private inputs risks exposing sensitive content. Text-only sanitization cannot directly satisfy fixed media interfaces, while identity anonymization leaves the underlying task content exposed. We introduce ReCast, an agentic plug-in framework that replaces source-specific content while preserving task-relevant relations and the required input modality. ReCast locally converts inputs into a shared textual evidence-query record, jointly rewrites entities and topics with a distilled 4B model, and substitutes values through a locally invertible, role-aware numerical map. A reconstruction agent generates and validates the required media from the protected record. The remote solver returns a program whose protected operands are restored locally before execution. On 4,000 held-out ChartQA and NMSQA examples, ReCast achieves 75.10% accuracy, retaining 92.43% of unprotected remote accuracy, while a model-based audit flags source-content leakage in 7.95% of solver-bound requests. It outperforms all evaluated local baselines, preserving the benefit of remote reasoning while reducing source-content exposure under existing media interfaces.