The State of Reproducibility Stamps for Visualization Research Papers
作者: Tobias Isenberg
分类: cs.GR, cs.DL, cs.HC
发布日期: 2024-08-07 (更新: 2024-09-16)
备注: 9 pages plus appendix; 12 figures plus 14 figures in the appendix
期刊: Proceedings of BELIV, 2024, pages 97--105
DOI: 10.1109/BELIV64461.2024.00016
💡 一句话要点
分析可视化研究论文可复现性印章现状，揭示领域内可复现性挑战与改进方向
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可视化研究 可复现性 GRSI 数据分析 科研诚信
📋 核心要点
- 当前可视化研究面临可复现性危机，大量论文结果难以验证，阻碍了领域发展和知识积累。
- 本文通过分析GRSI认证的可复现论文，评估可视化领域的可复现性现状，并寻找改进方向。
- 研究分析了论文数量、作者国家、发表期刊等因素，旨在找出影响可复现性的关键因素并提出改进建议。
📝 摘要（中文）
本文分析了由图形可复现性印章倡议（GRSI）认证为可复现的论文的演变，特别关注了与可视化相关主题的出版物子集。通过分析，表明虽然论文的数量总体上以及在可视化领域内都在增加，但为了摆脱可复现性危机，我们仍然需要做出很大的改进。分析基于GRSI发布的数据，以及可视化领域不同会议的出版数据和在以可视化为重点的会议上展示的期刊论文列表。还分析了相关期刊之间的差异以及不同展示场所中可复现论文的百分比。此外，还研究了出版物的作者，特别是他们的隶属国家，以了解大多数可复现论文来自哪里。最后，讨论了可复现性数字较低的潜在原因，并提出了克服这些障碍的可能方法。本文本身是可复现的，源代码和数据可从github.com/tobiasisenberg/Visualization-Reproducibility获得，免费的论文副本和所有补充材料可在osf.io/mvnbj获得。
🔬 方法详解
问题定义：可视化研究领域面临着日益严重的可复现性问题。许多已发表的论文，其结果和方法难以被其他研究者验证和复现。这阻碍了科学进步，浪费了资源，并损害了研究的可靠性。现有方法缺乏对可复现性的系统性评估和改进措施，导致该问题持续存在。
核心思路：本文的核心思路是通过分析获得GRSI（Graphics Replicability Stamp Initiative）认证的可复现可视化论文，来评估该领域的可复现性现状。通过统计分析论文数量、作者信息、发表期刊等因素，识别影响可复现性的关键因素，并提出改进建议。
技术框架：本文采用数据分析的方法，主要流程如下： 1. 收集数据：从GRSI获取可复现论文数据，并结合可视化领域的会议和期刊出版数据。 2. 数据清洗和预处理：对收集到的数据进行清洗和整理，提取关键信息，如论文标题、作者、机构、发表年份、期刊/会议等。 3. 统计分析：对数据进行统计分析，包括可复现论文数量的演变趋势、不同国家/机构的可复现论文比例、不同期刊/会议的可复现性差异等。 4. 结果分析和讨论：对统计结果进行深入分析，探讨影响可复现性的潜在因素，并提出改进建议。
关键创新：本文的创新之处在于： 1. 系统性地评估了可视化领域的可复现性现状，为该领域的研究者提供了一个清晰的认识。 2. 通过分析GRSI认证的可复现论文，识别了影响可复现性的关键因素，为改进可复现性提供了有价值的线索。 3. 提出了针对可视化领域可复现性问题的改进建议，为提高该领域的研究质量和可靠性提供了参考。
关键设计：本文的关键设计在于数据的选择和分析方法。选择GRSI认证的可复现论文作为研究对象，保证了数据的可靠性和代表性。采用统计分析的方法，能够客观地评估可复现性现状，并识别影响因素。此外，本文还考虑了作者的隶属国家和发表期刊等因素，从而更全面地分析了可复现性问题。
🖼️ 关键图片
📊 实验亮点
研究发现，虽然可视化领域的可复现论文数量有所增加，但整体比例仍然较低，表明该领域的可复现性问题依然严峻。分析还揭示了不同国家和期刊在可复现性方面的差异，为进一步改进提供了方向。论文自身也实现了可复现，提供了源代码和数据。
🎯 应用场景
该研究结果可应用于提升可视化研究领域的可信度和影响力。通过提高论文的可复现性，可以促进知识的积累和共享，加速领域发展。研究结论可指导科研人员在论文撰写和实验设计中更加注重可复现性，并为期刊和会议制定相关政策提供参考。
📄 摘要（原文）
I analyze the evolution of papers certified by the Graphics Replicability Stamp Initiative (GRSI) to be reproducible, with a specific focus on the subset of publications that address visualization-related topics. With this analysis I show that, while the number of papers is increasing overall and within the visualization field, we still have to improve quite a bit to escape the replication crisis. I base my analysis on the data published by the GRSI as well as publication data for the different venues in visualization and lists of journal papers that have been presented at visualization-focused conferences. I also analyze the differences between the involved journals as well as the percentage of reproducible papers in the different presentation venues. Furthermore, I look at the authors of the publications and, in particular, their affiliation countries to see where most reproducible papers come from. Finally, I discuss potential reasons for the low reproducibility numbers and suggest possible ways to overcome these obstacles. This paper is reproducible itself, with source code and data available from github.com/tobiasisenberg/Visualization-Reproducibility as well as a free paper copy and all supplemental materials at osf.io/mvnbj.