OPTIAGENT: A Physics-Driven Agentic Framework for Automated Optical Design
作者: Yuyu Geng, Lei Sun, Yao Gao, Xinxin Hu, Zhonghua Yi, Xiaolong Qian, Weijian Hu, Jian Bai, Kaiwei Wang
分类: cs.LG, cs.CV
发布日期: 2026-02-27
💡 一句话要点
OPTIAGENT：基于物理驱动的Agent框架，实现自动化光学设计
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 光学设计 大型语言模型 强化学习 物理驱动 自动化设计
📋 核心要点
- 光学设计高度依赖专家知识，且优化过程非凸，传统方法存在局限性。
- 利用大型语言模型（LLM）蕴含的光学知识，结合物理驱动的策略优化，实现自动化设计。
- 构建OptiDesignQA数据集，并采用DrGRPO算法进行策略对齐，实验结果优于传统方法和LLM。
📝 摘要（中文）
光学设计是一个配置光学元件以精确控制光线，从而实现高保真成像的过程。它本质上是一个高度非凸的优化问题，严重依赖于人类的启发式专业知识和领域特定知识。虽然大型语言模型（LLM）拥有广泛的光学知识，但它们在利用这些知识设计透镜系统方面的能力仍然受到很大限制。这项工作代表了首次尝试在光学设计领域中使用LLM。我们通过使用户无需正式的光学训练即可成功开发功能性透镜系统来弥合专业知识差距。具体而言，我们整理了一个名为OptiDesignQA的综合数据集，该数据集包含来自标准光学教科书的经典透镜系统以及由自动设计算法生成的新颖配置，用于训练和评估。此外，我们通过全系统合成和透镜补全的混合目标，将领域特定的光学专业知识注入到LLM中。为了使模型与光学原理对齐，我们采用了由光学词典式奖励指导的Group Relative Policy Optimization Done Right (DrGRPO)来进行物理驱动的策略对齐。该奖励系统包含结构格式奖励、物理可行性奖励、光线控制精度和基于LLM的启发式方法。最后，我们的模型与专门的光学优化程序集成，用于端到端微调和精度细化。我们将我们提出的方法与传统的基于优化的自动设计算法和LLM对应方法进行基准测试，实验结果表明了我们方法的优越性。
🔬 方法详解
问题定义：光学设计的目标是找到一组光学元件的参数，使得光线经过这些元件后能够满足特定的成像要求。传统方法依赖于人工经验和启发式搜索，效率低且难以找到全局最优解。现有基于优化的自动设计算法也存在收敛速度慢、易陷入局部最优等问题。大型语言模型虽然拥有光学知识，但缺乏有效利用这些知识进行设计的机制。
核心思路：本论文的核心思路是将大型语言模型（LLM）作为光学设计的智能体，通过强化学习的方式训练LLM，使其能够根据给定的设计目标，逐步生成光学系统的参数。为了保证生成的光学系统符合物理规律，引入了物理驱动的奖励函数，引导LLM的学习方向。
技术框架：整体框架包含以下几个主要模块：1) 数据集构建：构建包含经典和自动生成透镜系统的OptiDesignQA数据集。2) LLM集成：将LLM作为光学设计的智能体。3) 奖励函数设计：设计包含结构格式、物理可行性、光线控制精度和LLM启发式信息的奖励函数。4) 策略优化：采用DrGRPO算法进行策略优化，使LLM生成的系统更符合物理规律。5) 微调与优化：将LLM生成的结果作为初始值，使用传统优化算法进行微调，提高精度。
关键创新：1) 首次将LLM应用于光学设计领域，探索了LLM在复杂工程问题中的应用潜力。2) 提出了物理驱动的奖励函数，有效引导LLM的学习方向，保证了生成结果的物理可行性。3) 结合了LLM的生成能力和传统优化算法的精度，实现了优势互补。
关键设计：1) OptiDesignQA数据集包含经典透镜系统和自动生成的新颖配置，保证了数据的多样性和覆盖性。2) 奖励函数中，结构格式奖励鼓励生成符合规范的透镜结构，物理可行性奖励惩罚违反物理规律的设计，光线控制精度奖励衡量成像质量，LLM启发式信息奖励则利用LLM的知识进行引导。3) DrGRPO算法是一种改进的强化学习算法，能够更有效地进行策略优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OPTIAGENT在光学设计任务上优于传统的基于优化的自动设计算法和纯LLM方法。具体来说，OPTIAGENT能够生成更符合物理规律、成像质量更高的透镜系统。与基线方法相比，OPTIAGENT在特定指标上取得了显著的性能提升，证明了其有效性和优越性。
🎯 应用场景
该研究成果可应用于各种光学系统的自动化设计，例如相机镜头、显微镜物镜、望远镜等。通过降低光学设计的门槛，可以使更多非专业人士参与到光学系统的开发中，加速光学技术的创新和应用。未来，该方法有望扩展到其他物理系统的设计和优化，例如声学系统、电磁系统等。
📄 摘要（原文）
Optical design is the process of configuring optical elements to precisely manipulate light for high-fidelity imaging. It is inherently a highly non-convex optimization problem that relies heavily on human heuristic expertise and domain-specific knowledge. While Large Language Models (LLMs) possess extensive optical knowledge, their capabilities in leveraging the knowledge in designing lens system remain significantly constrained. This work represents the first attempt to employ LLMs in the field of optical design. We bridge the expertise gap by enabling users without formal optical training to successfully develop functional lens systems. Concretely, we curate a comprehensive dataset, named OptiDesignQA, which encompasses both classical lens systems sourced from standard optical textbooks and novel configurations generated by automated design algorithms for training and evaluation. Furthermore, we inject domain-specific optical expertise into the LLM through a hybrid objective of full-system synthesis and lens completion. To align the model with optical principles, we employ Group Relative Policy Optimization Done Right (DrGRPO) guided by Optical Lexicographic Reward for physics-driven policy alignment. This reward system incorporates structural format rewards, physical feasibility rewards, light-manipulation accuracy, and LLM-based heuristics. Finally, our model integrates with specialized optical optimization routines for end-to-end fine-tuning and precision refinement. We benchmark our proposed method against both traditional optimization-based automated design algorithms and LLM counterparts, and experimental results show the superiority of our method.