Research Community Perspectives on "Intelligence" and Large Language Models
作者: Bertram Højer, Terne Sasha Thorn Jakobsen, Anna Rogers, Stefan Heinrich
分类: cs.CL, cs.CY
发布日期: 2025-05-27
备注: ACL Findings 2025
期刊: Findings of the Association for Computational Linguistics: ACL 2025
💡 一句话要点
调查研究人员对“智能”和大型语言模型的认知与期望
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人工智能 自然语言处理 智能定义 调查研究 研究社区 大型语言模型 认知科学
📋 核心要点
- NLP研究中“智能”的定义模糊，研究人员对“智能”的理解存在差异，缺乏共识。
- 通过调查不同领域研究人员对“智能”的认知，揭示研究社区对智能的期望和研究目标。
- 调查结果表明，研究人员对当前NLP系统的“智能”程度持保留态度，且开发智能系统并非主流研究目标。
📝 摘要（中文）
本文旨在探究自然语言处理（NLP）研究中广泛使用的“人工智能”（AI）框架下，研究人员对“智能”的理解。为此，我们对来自NLP、机器学习（ML）、认知科学、语言学和神经科学等不同领域的303名研究人员进行了关于“智能”概念及其在研究议程中的作用的调查。结果表明，泛化、适应性和推理是研究界最认可的三个智能标准。调查还显示，只有少数研究人员（29%）认为当前的NLP系统是“智能的”。此外，只有16.2%的受访者将开发智能系统作为研究目标，并且这些受访者更有可能认为当前的系统是智能的。
🔬 方法详解
问题定义：论文旨在解决自然语言处理（NLP）领域中，研究人员对于“智能”这一概念理解不一致的问题。现有方法缺乏对研究社区对“智能”的共识的有效评估，导致研究方向和目标可能存在偏差。论文通过调查的方式，量化研究人员对“智能”的理解，从而为未来的研究提供更清晰的方向。
核心思路：论文的核心思路是通过大规模的调查问卷，收集来自不同领域研究人员对“智能”的看法，并进行统计分析。通过分析调查结果，确定研究社区对“智能”的共识，并了解他们对当前NLP系统智能程度的看法以及对未来研究目标的期望。
技术框架：论文采用问卷调查的方法。首先设计调查问卷，问题涵盖对“智能”的定义、对当前NLP系统智能程度的评估以及对未来研究目标的期望。然后，向来自NLP、机器学习、认知科学、语言学和神经科学等不同领域的303名研究人员发放问卷。最后，对收集到的数据进行统计分析，得出结论。
关键创新：论文的关键创新在于它采用了一种实证研究的方法，通过大规模的调查问卷来了解研究社区对“智能”的看法。这种方法能够有效地量化研究人员的观点，并揭示不同领域研究人员对“智能”理解的差异。此外，论文还识别出了研究社区最认可的三个智能标准：泛化、适应性和推理。
关键设计：调查问卷的设计是关键。问卷问题需要能够有效地收集研究人员对“智能”的看法，同时又要避免引导性的问题。问卷问题包括开放式问题和选择题，以收集不同类型的数据。此外，论文还对受访者的背景信息进行了收集，以便分析不同领域研究人员的观点差异。
🖼️ 关键图片
📊 实验亮点
调查结果显示，泛化、适应性和推理是研究界最认可的三个智能标准。只有29%的受访者认为当前的NLP系统是“智能的”，而只有16.2%的受访者将开发智能系统作为研究目标。这些数据反映了研究社区对当前NLP系统智能程度的普遍保留态度，以及对未来研究方向的多元化期望。
🎯 应用场景
该研究结果可应用于指导人工智能领域的研究方向，帮助研究人员更清晰地定义研究目标，并促进跨学科的交流与合作。同时，该研究也能帮助公众更理性地看待人工智能的发展现状，避免对人工智能的过度期望或不必要的恐慌。未来的研究可以进一步探索不同文化背景下研究人员对“智能”的理解差异。
📄 摘要（原文）
Despite the widespread use of ''artificial intelligence'' (AI) framing in Natural Language Processing (NLP) research, it is not clear what researchers mean by ''intelligence''. To that end, we present the results of a survey on the notion of ''intelligence'' among researchers and its role in the research agenda. The survey elicited complete responses from 303 researchers from a variety of fields including NLP, Machine Learning (ML), Cognitive Science, Linguistics, and Neuroscience. We identify 3 criteria of intelligence that the community agrees on the most: generalization, adaptability, & reasoning. Our results suggests that the perception of the current NLP systems as ''intelligent'' is a minority position (29%). Furthermore, only 16.2% of the respondents see developing intelligent systems as a research goal, and these respondents are more likely to consider the current systems intelligent.