机器之心报道

机器之心编辑部

昨日,ICLR 2020 评审结果放出,被大量作者吐槽,甚至有开发者统计,本次大会近半数审稿人没有在相关领域发过论文。这把不久之前刚被清华列为人工智能 A 类顶会的 ICLR,推上了风口浪尖。

昨日,ICLR2020 的审稿结果终于放出。但放榜时间比预计的要晚了一天,原因在于今年的投稿数量多到爆炸,足足有 2600 篇,所以原有的审稿人手根本不够用。要知道,ICLR 2019 大会的投稿数是 1500 篇,而 ICLR 2018 才 900 多。两年时间增长了近两倍。

提交论文数量爆炸式增长,大概率导致几种结果,要么使得审稿人超负荷运转,要么减少在每篇论文上花费的精力,或者增加审稿人数量。而审稿人数量一多,就很容易出现「滥竽充数」的情况。甚至有些深度学习顶会的审稿人会发出一些灵魂追问,如著名的:「What is softmax?」

ICLR 2020 的评审,就引发了社区的极大质疑。

谷歌大脑研究科学家 Ben Poole 就在 Twitter 上表示,「机器学习同行评审崩塌了」。

论文里面的数据通不过盲审吗(顶会扩招)(1)

一大批论文作者们也表示赞同。一位相关领域的 PhD 学生在 Poole 的 Twitter 下留言称,「ICLR 2020 感恩有你,我和学术界从此拜拜。如果能重来,我要选 arXiv。」

论文里面的数据通不过盲审吗(顶会扩招)(2)

另一位相关研究者说:「吐槽大会审稿已经是一个传统了。但是本次大会的审稿情况真是令人震惊。(论文的)评论更像是 Reddit 的评论,而不是严格的学术评审。老实说,我已经丧失了尝试(投稿)的动力。」

面对来自投稿者的「差评」,审稿人也大呼冤枉,表示「我们太难了……」

一位审稿人表示,自己真的在审稿方面花费了很多心血,不能一口气否定。这位审稿人审核了三篇论文,每篇用了 6 小时阅读、2 小时写评论,并在之后又一次花 1 小时看一遍,以免出问题,评审意见平均达 900 字之多。

论文里面的数据通不过盲审吗(顶会扩招)(3)

不过有时候确实任务很繁重,一位审稿人对此回复说:「你这么做是对的,但是我可是在两周内审了八篇论文,而且我们可不是仅仅只有审文章这一个工作。」

论文里面的数据通不过盲审吗(顶会扩招)(4)

直到审稿截止日期的最后两天,纽约大学助理教授 Sam Bowman 还在 twitter 上在线征集 ICLR 审稿人。他表示,「这是最后时刻发起的请求,实在是没有有经验的审稿人可用了」。不过,此次征集的审稿人是有一定要求的,如需要在同等级会议上发表过文章。

论文里面的数据通不过盲审吗(顶会扩招)(5)

论文里面的数据通不过盲审吗(顶会扩招)(6)

47% 审稿人没发过相关论文

如果说 ICLR 2020 的评审结果「一地鸡毛」,相信也是跟审稿人的背景有关的。让没有在相关领域发过文章的审稿人参与评审,被认为是这次审稿崩塌的主要原因。

在 Twitter 上,有用户统计称,ICLR2020 的审稿人中,有 47% 的人没有在相关领域发表过论文。南京大学周志华教授对此评论称,「顶会的『顶』正是因为有高水平专家把关,但现在已不可能了。」

论文里面的数据通不过盲审吗(顶会扩招)(7)

ICLR 大会最初由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun 牵头创办。众所周知,Yoshua Bengio 主管着蒙特利尔大学人工智能实验室,也就是 MILA,这是世界上最大的人工智能研究中心之一。Yann LeCun 是 Facebook 人工智能研究院的院长,被称为卷积神经网络之父。

不久之前,在清华大学发布的最新版《清华大学计算机学科推荐学术会议和期刊列表》中,成立短短 6 年的 ICLR 已经成为了 A 类顶会。

本着开源的原则,ICLR 大会一直采用 open review 制度,所有提交的论文都会开放在 OpenReview.net 网站上,遵循公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源这八个原则。但正如周志华教授所言,open review 制度只有在参与者均为本领域专家的前提下才更显效用,否则存在误导风险。这并不是一种偏见,仅从学术判断专业性的角度出发而已。

这就是为什么学术界的人们非常信赖「顶会」。只有顶会能够汇聚更多的学术大咖和行业专家,让论文在更专业更深邃的审视下,能够脱颖而出。这样的论文才能经得起专业和历史的检验。然而,就 ICLR 2020 的情况来说,这次论文评分的说服力恐怕要打个折扣了。

不堪重负的顶会(们)

无论是之前爆出的「

本科毕业生成为 NIPS 2018 论文同行评审

」,还是如今的「近半数 ICLR 审稿人未在该领域发过论文」,其本质上反映的都是一个基本矛盾,即大会日益增长的投稿需求与审稿人数量有限之间的矛盾。

今年 ICLR 的截稿日期是 9 月 25 日。截至当日,ICLR 的投稿量达到了 2600 篇,比去年多出 65%。而在 2017 年,这一数字仅为 490,三年时间增长 4 倍还要多。

论文里面的数据通不过盲审吗(顶会扩招)(8)

当然,面临这一情况的可不止 ICLR 一场大会。今年的 NeurIPS 2019 大会收到了 6743 篇有效论文,比 2018 年(4856)增长了近 40%;CVPR 2019 大会共收到 5165 篇有效提交论文,比去年增加了 56%;ACL 2019 接收的有效论文数近 2700 篇,相比去年的 1544 篇增加了 75%。

压力都是相似的,出的问题自然也是相似的。早在去年 5 月份,NeurIPS 大会就被曝出启用一名本科刚刚毕业的学生担任审稿人。这位年轻的「审稿人」在 reddit 上发帖提问,「我从来没有提交或者评审过这个大会的论文。所以我该如何选择论文?需要先从阅读旧 NIPS 论文开始学习其中的规律吗?最重要的是,如何写好评审意见?」

论文里面的数据通不过盲审吗(顶会扩招)(9)

面对激增的投稿量,「降低审稿人选择标准」似乎是各大顶会不约而同的一个选择,这也解释了为什么每次评审结果出来之后都有人吐槽,「我觉得审稿人没有看懂我的论文。」也许,他/她真的没有看懂。

ICLR 2020 论文评审整体情况

虽然评审工作一地鸡毛,但我们还是可以看一下今年论文的整体情况。毕竟,论文该投还是要投的……

今年评审得分的分布:均分 3.91,中位数 3.84。

论文里面的数据通不过盲审吗(顶会扩招)(10)

数据来源 [1]

Top5 得分论文的分数范围在 8.20-8.91 之间:

论文里面的数据通不过盲审吗(顶会扩招)(11)

此外,Github 网友从 ICLR OpenReview 的网页上抓取了数据,在 2594 篇提交论文的基础上,对本次 ICLR 论文提交情况进行了可视化的呈现;

投稿关键词中,深度学习、强化学习、表示学习、生成模型、图神经网络等是热门话题。

论文里面的数据通不过盲审吗(顶会扩招)(12)

所有论文中常用关键字的 Top50,以及它们出现的频率如下:

论文里面的数据通不过盲审吗(顶会扩招)(13)

参考资料:

[1]https://colab.research.google.com/drive/1vXXNxn8lnO3j1dgoidjybbKIN0DW0Bt2#scrollTo=_qmSij2me5bX[2]https://mp.weixin.qq.com/s/D1PSqS1fbmMQrFDPPZVakw[3]https://github.com/shaohua0116/ICLR2020-OpenReviewData [4]https://chillee.github.io/OpenReviewExplorer/ [5]https://twitter.com/cHHillee/status/1191823707100131329 [6]https://www.reddit.com/r/MachineLearning/comments/drs6vn/d_iclr_2020_reviews/ [7]https://www.zhihu.com/search?q=ICLR 2020&range=1d&type=content [8]https://www.reddit.com/r/MachineLearning/comments/ds7mk0/d_explaining_your_iclr_reviews/

,