最新公告
  • 欢迎光临数据科学与编程,我们是数据学科学兴趣交流小组立即加入我们
  • 学术论文10年分析指南

    arXiv是重要的学术公开网站,也是搜索、浏览和下载学术论文的重要工具。
    它涵盖的范围非常广,涉及物理学的庞大分支和计算机科学的众多子学科,如数学、统计学、电气工程、定量生物学和经济学等等。本文使用arXiv公开的论文数据集,聚焦2008年-2020年计算机各个方向论文数据,对其进行了数据探索性分析和可视化分析。

    本文目录

    一、数据转换

    1.1读取原始数据

    1.2爬取论文类别数据

    1.3取data的子集进行处理

    1.4对 categories进行处理

    1.5数据连接

    1.6存储转换后的数据,后面可以直接进行读取

     

    二、数据探索性分析

    2.1查看数据的缺失信息

    2.2统计不同大类的论文数量

    2.3按年度统计论文数量的变化

    2.4按月份统计论文发表数量

    2.5统计不同小类论文的数量

     

    三、使用B软件进行数据可视化分析

    3.1不同年份计算机领域发表数量前五的领域

    3.2计算机领域论文数量对比

    3.3CV/ML等领域论文数量变化趋势

    一、 数据转换

    本文数据下载地址:https://tianchi.aliyun.com/competition/entrance/531866/information

    从json中读取数据

    1.1 读取原始数据

    1.2 爬取论文类别数据

    1.3 取data的子集进行处理

    抽取数据的5%进行分析,否则数据量太大,处理时间太长。

    1.4 对catagories进行处理

    categories列中有很多,一篇论文同时属于很多的类别,只取第一个类别,放弃其他类别。

    1.5 数据连接

    发现比原始抽样数据多了一行,经查明,原来是多了一行空行,进行删除

    1.6 存储转换后的数据,后面可以直接进行读取

    二、 数据探索性分析

    2.1 查看数据的缺失信息

    可以看到group_name之后的部分列,都有缺失数据

    2.2 统计不同大类的论文数量

    • 可以看到物理学领域的论文数量最多,数学和计算机科学的其次,其他领域的论文数量都相对较少
        • 可以看到论文数量大体上呈现递增的趋势
        • 2009年和2015年的数据偏高,有可能是抽样的随机因素,也有可能这两年的论文数量本来就比较高

          说明arxiv网站的论文大部分仍然集中在“物理学,数学,计算机科学”领域

          2.3 按年度统计论文数量的变化



    • 2.4 按月份统计论文发表数量

      • 比较发现一年中5,6,10,11月份是论文出产最多的月份

      2.5 统计不同小类论文的数量

      • 只绘制了前20种
      • 高能物理,量子力学领域的论文数量最多

      三、 使用BI软件进行数据可视化分析

      3.1 不同年份计算机领域发表数量前五的领域

      可以看到计算机领域最火的领域一直在发生着变换,2014年-2016年都是信息理论方面的论文最多,而2017-2019是计算机视觉最火,到了2020年,机器学习则和计算机视觉并驾齐驱。

      3.2 计算机领域论文数量对比

      排名前五的是计算机视觉、机器学习、信息理论、自然语言处理、人工智能五个方面

      3.3 CV、ML等领域论文数量变化趋势

      可以看到论文的数量都呈现出上升的趋势,但是2014年是一个节点,2014年之后,计算机视觉机器学习两个领域的论文数量都开始了非常迅速的增长,这两个方向依然是计算机领域目前论文中的最火的方向,至于今年比较热的新方向,如可复现性、差分隐私、几何深度学习、神经形态计算、强化学习是否成为新增长点,来一个预测吧。

       

    本站上原创文章未经作者许可,不得用于商业用途,仅做学习交流使用,本站免责声明。转载请注明出处,否则保留追究法律责任的权利。《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
    数据科学与编程 » 学术论文10年分析指南

    发表评论

    • 52会员总数(位)
    • 307资源总数(个)
    • 40本周发布(个)
    • 1 今日发布(个)
    • 329稳定运行(天)

    提供最优质的博文资源集合

    立即阅览 了解详情