SkinAgent AI: A Safety-Grounded Multimodal Agentic Framework for Non-Diagnostic Skincare Support

📄 arXiv: 2609.29341v1 📥 PDF

作者: Muhammad Muhtasim Shahriar, Abdullah Mohammad Sayem, Tze Hui Liew, M. F. Mridha, Md. Mahiuddin

分类: cs.AI

发布日期: 2026-09-24

备注: Submitted to JMIR AI and currently under peer review

💡 一句话要点

提出SkinAgent AI框架以解决非诊断性护肤支持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 护肤AI 多模态框架 安全性 可审计性 视觉证据 用户支持 机器学习 数据隐私

📋 核心要点

  1. 现有护肤AI系统在协调多种信息和确保用户安全方面存在不足，尤其是在非诊断性支持场景中。
  2. SkinAgent AI框架通过结合视觉证据和基于LLM的编排，提供了一种安全且可审计的护肤支持解决方案。
  3. 实验结果表明，SkinAgent AI在皮肤状况路由和肤质估计方面表现优异，准确率分别达到99.84%和88.85%。

📝 摘要（中文）

消费者面向的护肤AI需要在明确的证据和安全边界内协调视觉证据、产品信息、工具使用和用户行为。本研究评估了SkinAgent AI，一个非诊断性多模态框架，结合了视觉关注路由与基于大型语言模型的可审计编排。该架构包括针对痤疮、毛孔和皱纹的路由；基于照片的肤质估计；基于数量的有序痤疮严重性支持；类型化工具；基于数据库的推荐和行动功能；确定性的安全、隐私和证据检查；状态改变前的批准机制；以及结构化的追踪和重放机制。实验结果显示，皮肤状况路由模型的准确率达到99.84%，肤质估计准确率为88.85%。

🔬 方法详解

问题定义：本研究旨在解决现有护肤AI在提供非诊断性支持时，如何有效协调视觉证据、产品信息和用户行为的问题。现有方法往往缺乏安全性和可审计性，难以满足用户需求。

核心思路：SkinAgent AI框架通过多模态整合视觉信息与基于大型语言模型的智能编排，确保在安全边界内提供护肤建议。该设计旨在提升用户体验，同时确保信息的准确性和安全性。

技术框架：SkinAgent AI的整体架构包括多个模块：皮肤状况路由模块、肤质估计模块、痤疮严重性支持模块、工具选择模块和安全隐私检查模块。每个模块负责特定的功能，确保系统的整体协调性。

关键创新：本研究的主要创新在于将视觉证据与LLM编排相结合，形成一个可审计的护肤支持系统。这种方法与传统的单一信息处理方式有本质区别，能够更全面地考虑用户需求和安全性。

关键设计：在技术细节上，SkinAgent AI采用了基于图像的肤质估计和数量驱动的痤疮严重性支持，使用了特定的损失函数来优化模型性能。此外，系统设计了严格的安全和隐私检查机制，确保用户数据的安全性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SkinAgent AI在皮肤状况路由模型中达到了99.84%的准确率，肤质估计的准确率为88.85%。在240个案例的系统基准测试中，意图准确率为80.00%，工具集匹配率为62.92%，任务完成率为47.08%。这些结果表明该系统在非诊断性护肤支持中的有效性。

🎯 应用场景

SkinAgent AI框架具有广泛的应用潜力，特别是在护肤产品推荐、用户教育和个性化护肤方案制定等领域。其安全性和可审计性使其在商业化应用中具备更高的可信度，未来可能推动护肤行业的智能化转型。

📄 摘要（原文）

Consumer-facing skincare AI must coordinate visual evidence, product information, tool use, and user-facing actions within explicit evidence and safety boundaries. This study evaluates SkinAgent AI, a non-diagnostic multimodal framework that combines visual concern routing with grounded and auditable LLM-based orchestration. The architecture includes routing for Acne, Pores, and Wrinkles; photograph-based skin-type estimation; count-informed ordinal acne-severity support; typed tools; database-grounded recommendation and action functions; deterministic safety, privacy, and evidence checks; approval before state-changing actions; and structured trace and replay mechanisms. Visual-model performance and system-level agent behavior were evaluated separately. Across three seeds, the skin-condition routing model achieved 99.84% +/- 0.07% accuracy. Skin-type estimation achieved 88.85% accuracy, while count-informed acne-severity support achieved 84.59% accuracy with a quadratic weighted kappa of 0.9076. On a locked but non-independent 240-case system benchmark, intent accuracy was 80.00%, exact tool-set match was 62.92%, and strict task completion was 47.08%. No violations or successful cross-user leakage events were observed in the finite safety and privacy test suites. Tool-selection errors, incomplete grounding of product attributes, and unreliable failure fallback nevertheless remained. These findings support the feasibility of bounded, database-grounded, and traceable agent orchestration for non-diagnostic skincare assistance. They do not establish clinical readiness, external generalization, formal privacy guarantees, or universal safety. Independent validation, expert assessment, robustness and fairness testing, and prospective evaluation in real-world settings remain necessary.