SSFF: Investigating LLM Predictive Capabilities for Startup Success through a Multi-Agent Framework with Enhanced Explainability and Performance

📄 arXiv: 2405.19456v2 📥 PDF

作者: Xisen Wang, Yigit Ihlamur, Fuat Alican

分类: cs.AI

发布日期: 2024-05-29 (更新: 2025-04-19)

备注: For relevant code: https://github.com/Xisen-Wang/Startup-Success-Forecasting-Framework

💡 一句话要点

提出SSFF框架，通过多Agent协作和增强可解释性预测创业公司成功率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 创业公司成功预测 多Agent系统 大型语言模型 风险投资 检索增强生成 机器学习 可解释性

📋 核心要点

  1. 现有方法难以准确预测创业公司成功率，缺乏基准和定制框架。
  2. SSFF框架通过多Agent协作，模拟风险投资分析师的推理过程，结合传统机器学习和检索增强生成。
  3. 实验表明，SSFF框架显著提高了预测准确性，优于GPT-4o等基线模型。

📝 摘要（中文）

本文提出创业公司成功预测框架（SSFF），该框架是一个自主系统，通过多Agent协作模型模拟风险投资分析师的推理过程。该框架集成了传统机器学习方法（如随机森林和神经网络）以及检索增强生成框架，由预测模块、分析模块和外部知识模块组成。实验结果表明，由L5级别创始人领导的创业公司比L1级别创始人领导的创业公司成功率高3.79倍。基线大语言模型高估了创业公司的成功率，并且在实际的类别不平衡情况下表现不佳，这主要是由于过度依赖创始人声明。SSFF框架显著提高了预测准确性，相对于GPT-4o mini提高了108.3%，相对于GPT-4o提高了30.8%。

🔬 方法详解

问题定义：论文旨在解决创业公司成功率预测问题。现有方法，特别是基于大型语言模型（LLM）的方法，存在过度依赖创始人声明、高估成功率以及在类别不平衡情况下表现不佳等问题。缺乏专门针对创业公司成功预测的基准和框架，使得现有方法难以有效应用。

核心思路：论文的核心思路是构建一个多Agent协作框架，模拟风险投资分析师的推理过程。通过将LLM的生成能力与传统机器学习方法的判别能力相结合，利用外部知识进行增强，从而提高预测的准确性和可解释性。这种方法旨在克服LLM在处理复杂预测任务时的局限性。

技术框架：SSFF框架包含三个主要模块：预测模块、分析模块和外部知识模块。预测模块利用LLM进行初步预测，分析模块使用传统机器学习方法（如随机森林和神经网络）对预测结果进行验证和修正，外部知识模块提供相关的背景信息和数据，以增强预测的准确性。整个框架采用检索增强生成（RAG）的方式，将外部知识融入到LLM的推理过程中。

关键创新：该框架的关键创新在于将多Agent协作模式应用于创业公司成功预测，并结合了LLM的生成能力和传统机器学习方法的判别能力。通过创始人分级（L1-L5）来量化创始人能力，并将其作为预测的重要特征。此外，该框架还利用外部知识来增强预测的准确性和可解释性。

关键设计：框架中使用了检索增强生成（RAG）技术，从外部知识库中检索相关信息，并将其作为LLM的输入。创始人分级是基于对创始人背景、经验和能力的评估，用于量化创始人对创业公司成功的影响。损失函数和网络结构等技术细节未在摘要中明确提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，由L5级别创始人领导的创业公司比L1级别创始人领导的创业公司成功率高3.79倍。SSFF框架相对于GPT-4o mini提高了108.3%的预测准确率，相对于GPT-4o提高了30.8%。这些结果表明，多Agent协作和传统机器学习方法的结合可以显著提高创业公司成功预测的准确性。

🎯 应用场景

该研究成果可应用于风险投资领域，帮助投资者更准确地评估创业公司的潜力，降低投资风险。此外，该框架也可用于创业公司自我评估，帮助创始人了解自身的优势和劣势，从而制定更有效的经营策略。未来，该框架可以扩展到其他领域的预测任务，例如新产品上市成功率预测等。

📄 摘要（原文）

LLM based agents have recently demonstrated strong potential in automating complex tasks, yet accurately predicting startup success remains an open challenge with few benchmarks and tailored frameworks. To address these limitations, we propose the Startup Success Forecasting Framework, an autonomous system that emulates the reasoning of venture capital analysts through a multi agent collaboration model. Our framework integrates traditional machine learning methods such as random forests and neural networks within a retrieval augmented generation framework composed of three interconnected modules: a prediction block, an analysis block, and an external knowledge block. We evaluate our framework and identify three main findings. First, by leveraging founder segmentation, startups led by L5 founders are 3.79 times more likely to succeed than those led by L1 founders. Second, baseline large language models consistently overpredict startup success and struggle under realistic class imbalances largely due to overreliance on founder claims. Third, our framework significantly enhances prediction accuracy, yielding a 108.3 percent relative improvement over GPT 4o mini and a 30.8 percent relative improvement over GPT 4o. These results demonstrate the value of a multi agent approach combined with discriminative machine learning in mitigating the limitations of standard large language model based prediction methods.