郭一璞 发自 凹非寺量子位 报道 | 公众号 QbitAI
你的论文可能更容易发顶会了。
EMNLP官方,今天给出了一些审稿建议,反对审稿人一刀切拒绝论文,没超过SOTA、方法太简单、主题太新或太老……都不是拒稿的理由。
官方还专门强调,如果论文不是英文的NLP也不能作为拒稿理由,或许研究中文NLP有了更多发布的机会。
EMNLP拒稿八不准
EMNLP官方给出了8条不能作为拒稿理由的情况:
1.语言风格问题。
审稿人应该把重点放在论文内容上,而不是语言风格上。有时候论文作者的语言表达太差让审稿人没法理解,这种时候可以拒绝,但是要努力理解这篇论文之后才可以拒稿。
2.论文不是英文NLP
EMNLP关心任何语言的NLP,即使不是英文也不应当以此为理由拒稿。
3、没超过SOTA
不能单纯以SOTA论英雄,因为SOTA也会受到外部版本更迭的影响,很多时候SOTA要求的高算力会劝退搞不到海量计算资源的研究者,此外,目前的benchmark也不一定十全十美。
而且,除了SOTA之外,模型大小、训练需要的数据量、预训练时间等都是有效的改进。
4.没有使用特定方法
不能因为一篇论文中没有使用深度学习的方法就拒稿,完成一项好的工作不需要特定的某种方法,相比方法,论文本身的贡献更重要。
5.方法太简单
论文的重点在于贡献和发现,大家写论文也不是为了追求设计一个最复杂的方法。很多时候,方法越简单的论文,被引用的次数越多。如果一个简单的方法做到了比之前复杂方法更好的效果,这种时候一般是一个重要的发现。
6.主题太窄或过时
EMNLP不希望成为一个追热点的社区,希望审稿人思想开放,多想想论文的贡献和影响。
7.主题太新,没法跟别的论文比
如果一篇论文的主题是全新的,没有现成的技术做参考比对,或者该主题已经在其他领域完成了,那不应该以此为理由拒稿。
8.是个资源帖
在NLP、监督学习领域,数据集和模型一样重要。
那要怎么审稿
那么,有这么多条条框框,审稿人究竟要如何审稿呢?
EMNLP官方引述了马里兰大学Philip Resnik教授的观点:
我认为,鼓励评审人员明确地思考贡献的性质,以及需要提出什么问题,这将具有重大价值。首先考虑:
这项研究有没有科学贡献? 如果有的话,作者在努力提高我们对这个世界什么现象的理解?关于这个现象,我们现在知道了什么以前不知道的事?>这项研究有没有工程学贡献?如果有的话,这项研究解决的是现实世界的什么问题?或者如果这项研究针对的不是目前现实世界的问题,它能帮助现实世界中的哪些问题得到解决?
这项研究有没有理论贡献?如果有的话,我们知道了什么以前不知道的事?这项理论进步如何与科学或工程目标联系起来?
计算机语言学可能包括科学、工程或理论的贡献,不仅仅是其中之一。不过我建议,如果一份论文你没有对上述任何方面做出贡献,你就要考虑它是否应当被发在这个会议上。
另外,EMNLP官方还建议,评审论文、写评论的时候需要注意:
1.论文的主张是什么,如何支撑这一主张,检查一下效果的提升是否真的和这一主张有关系。
2.评论写得具体一点,写具体一点可以帮助作者更好的改进。比如你觉得作者忽略了引用某关键论文,那就直接在评论中把这些论文给出来,因为你可能对这些论文如数家珍,作者就不一定了。
3.提出的建议要有建设性,不要光说某方面做的不好,最好给出可以怎么做的建议。
4.组织语言的时候友善一点,即使是批评也保持体面不要说脏话。
议论纷纷
看到EMNLP官方的这一则博客,有些人觉得非常支持:
真棒!这种规则应该在更多领域适用。
希望看到简单有效的解决方案,另外请不要总觉得所有论文都应该是超越SOTA的,毕竟搞研究不是打架非得赢不可,而是解决挑战。
也有人觉得,官方这个语调哪里不对?
不是审稿人审稿、然后领域主席决定接受或拒稿的吗?这写得就好像是审稿人在做出接受/拒稿决定一样。
参考链接:https://2020.emnlp.org/blog/2020-05-17-write-good-reviews
— 完 —
量子位 QbitAI · 头条号签约作者
关注我们,第一时间获知前沿科技动态
,