The Future of MLLM Prompting is Adaptive: A Comprehensive Experimental Evaluation of Prompt Engineering Methods for Robust Multimodal Performance
作者: Anwesha Mohanty, Venkatesh Balavadhani Parthasarathy, Arsalan Shahid
分类: cs.AI, cs.CL, cs.ET
发布日期: 2025-04-14
💡 一句话要点
多模态大语言模型提示工程自适应优化：全面实验评估提升模型鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 提示工程 自适应学习 实验评估 模型鲁棒性
📋 核心要点
- 现有MLLM在复杂推理和抽象理解方面存在不足，容易产生幻觉，限制了其应用。
- 提出一种自适应提示工程方法，结合示例指导和选择性结构化推理，优化MLLM的性能。
- 实验表明，自适应策略能有效提高MLLM的鲁棒性、效率和事实准确性，尤其是在复杂任务中。
📝 摘要（中文）
多模态大语言模型(MLLM)通过整合文本、图像和代码等多种模态，有望变革机器处理和生成类人响应的方式。然而，有效利用其能力取决于最优的提示工程。本文对七种提示工程方法在13个开源MLLM上进行了全面的实验评估，涵盖推理与组合性、多模态理解与对齐、复杂代码生成与执行以及知识检索与集成等24个任务。我们的方法将模型按参数量分为小型(<4B)、中型(4B-10B)和大型(>10B)三类，并比较了零样本、单样本、少样本、思维链、类比、生成知识和思维树等提示技术。虽然大型MLLM在代码生成等结构化任务中表现出色，在少样本提示下准确率高达96.88%，但所有模型在复杂推理和抽象理解方面都表现不佳，准确率通常低于60%，且幻觉率较高。结构化推理提示经常增加小型模型高达75%的幻觉，并导致大型MLLM响应时间延长（超过20秒），而更简单的提示方法提供了更简洁高效的输出。没有一种提示方法能够统一优化所有任务类型。相反，结合基于示例的指导和选择性结构化推理的自适应策略对于提高鲁棒性、效率和事实准确性至关重要。我们的研究结果为提示工程提供了实用的建议，并支持在AI辅助编码、知识检索和多模态内容理解等应用中更可靠地部署MLLM。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）在不同任务上的提示工程优化问题。现有方法要么依赖单一的提示策略，要么缺乏对不同模型和任务的适应性，导致模型在复杂推理、知识检索等任务上表现不佳，容易产生幻觉，且效率较低。
核心思路：论文的核心思路是提出一种自适应的提示工程方法，该方法能够根据不同的模型规模、任务类型和性能指标，动态地选择和组合不同的提示策略。这种自适应性旨在提高MLLM的鲁棒性、效率和事实准确性。
技术框架：论文采用实验评估的方式，对七种提示工程方法（零样本、单样本、少样本、思维链、类比、生成知识、思维树）在13个开源MLLM上进行了全面的测试。模型被分为小型、中型和大型三类。评估涵盖了推理与组合性、多模态理解与对齐、复杂代码生成与执行以及知识检索与集成等24个任务。通过对比不同提示方法在不同模型和任务上的表现，分析其优缺点，并提出自适应提示策略的建议。
关键创新：论文的关键创新在于强调了提示工程的自适应性。不同于以往研究中对单一提示策略的关注，本文指出没有一种提示方法能够统一优化所有任务类型。因此，需要根据具体的模型和任务特点，选择和组合不同的提示策略，以达到最佳性能。
关键设计：论文的关键设计在于实验评估的全面性。通过对多种提示方法、多种模型和多种任务的组合进行测试，论文能够更准确地评估不同提示策略的优缺点，并为自适应提示策略的设计提供依据。此外，论文还关注了提示策略对模型响应时间和幻觉率的影响，从而更全面地评估了提示策略的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大型MLLM在代码生成等结构化任务中表现出色，在少样本提示下准确率高达96.88%。然而，所有模型在复杂推理和抽象理解方面都表现不佳，准确率通常低于60%，且幻觉率较高。结构化推理提示经常增加小型模型高达75%的幻觉，并导致大型MLLM响应时间延长（超过20秒）。研究强调自适应提示策略的重要性。
🎯 应用场景
该研究成果可应用于AI辅助编码、知识检索、多模态内容理解等领域。通过自适应的提示工程，可以提高MLLM在这些应用中的可靠性和效率，例如，在AI辅助编码中，可以根据代码的复杂程度和模型的规模，选择合适的提示策略，提高代码生成的准确率和效率。在知识检索中，可以根据用户的查询意图和模型的知识储备，选择合适的提示策略，提高检索结果的相关性和准确性。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) are set to transform how machines process and generate human-like responses by integrating diverse modalities such as text, images, and code. Yet, effectively harnessing their capabilities hinges on optimal prompt engineering. We present a comprehensive experimental evaluation of seven prompt engineering methods applied to 13 open-source MLLMs over 24 tasks spanning Reasoning and Compositionality, Multimodal Understanding and Alignment, Complex Code Generation and Execution, and Knowledge Retrieval and Integration. Our approach stratifies models by parameter count into Small (<4B), Medium (4B-10B), and Large (>10B) categories and compares prompting techniques including Zero-Shot, One-Shot, Few-Shot, Chain-of-Thought, Analogical, Generated Knowledge, and Tree-of-Thought. While Large MLLMs excel in structured tasks such as code generation, achieving accuracies up to 96.88% under Few-Shot prompting, all models struggle with complex reasoning and abstract understanding, often yielding accuracies below 60% and high hallucination rates. Structured reasoning prompts frequently increased hallucination up to 75% in small models and led to longer response times (over 20 seconds in Large MLLMs), while simpler prompting methods provided more concise and efficient outputs. No single prompting method uniformly optimises all task types. Instead, adaptive strategies combining example-based guidance with selective structured reasoning are essential to enhance robustness, efficiency, and factual accuracy. Our findings offer practical recommendations for prompt engineering and support more reliable deployment of MLLMs across applications including AI-assisted coding, knowledge retrieval, and multimodal content understanding.