审稿人
这几年像是前些年互联网开发一样,人工智能赛道迎来了属于他的巅峰,NIPS 2024 投稿量突破两万,EMNLP 也超越 5000 篇。
这样带来的问题是根本没有那么多审稿人去审这些文章,因此会议别无他法,也只能广撒网了。你可以在各种社交媒体上看到各种离谱审稿人,比如像 ACL 用中文来 review 的这种离谱事件。那既然审稿人的审稿水平不行,很多中了稿的人自然也都水平参差不齐,那他们中了稿之后自然下一年就也由他们来当审稿人了,因此陷入了一个死循环一样的情况。
而且也有一方面是,审稿人根本没那么多时间,本来就要忙自己的事情,有些大牛还可能会被 assign 个十几篇那么夸张的让他去审,那花在每篇的时间自然不多说。这还算是比较负责的佬了,更有甚者,直接把稿丢给手下研究生本科生去审,那水分也自不用多说。
因此现在在 AI 上的会议,已经混乱到一个比较离谱的地步,能不能中,全看缘分,审稿人是谁可以让给分天差地别。
很多 paper 水分极高
在 arxiv 上面,什么都可以看到,当然这里说的还是中了稿的那些,格式都不对的就不说了,很多都只是通过特定领域的微调来水 number,找一个弱的 baseline 和奇葩的数据集。
今年估计还要迎来一波发 agent 的大爆发,估计又有不少东西能水了。其实看 NIPS 这样顶会的都会看到不少数据测的一般般,idea 也没有很惊艳,但是主打的就是一个会讲故事的 paper,实在有点感慨。
市面上的数据集很多都是为了发而发
首先,有些数据集的下载就已经困难重重了,和所声称的开源完全是两回事。但奈何中稿本身不会和这个紧相关,会讲讲故事就中了。
下载完了之后会发现数据极其低劣,就我个人在接触的一些多模态数据集,说是为了翻译而做的数据集,但是有的视频里面完全一句话都没有,更离谱的是,这些视频还有对应的原文和翻译句子。
机制
版面费 有些期刊会靠版面费来赚钱,但这在会议(至少在人工智能的会里面)是不通用的,超了就直接 desk reject 了
假双盲 举个例子,像是 acl demo 的话,虽然声称是双盲,但必须放成品 demo 的 link,那这个 link 本身放出来其实就已经很不双盲了。当然,以现在 acl 的机制,其实本来审稿人想找到投稿人是谁也不难,
主会以外的其他 Track
子会在 CCF 基本是不被承认的,所以感觉身边的同学都不太了解?但其实在海外却认可度还可以,像是一些实力不错的组,也可以看到很多发在 ACL Findings 的 paper,毕竟人也不在意什么 CCF,其实能在像是 demo 这样的 track 中稿,在主会能不能中也是运气问题,毕竟如前面所说,现在能不能中,全看缘分 hh。当然,Demo Track 对于实验 number 的要求还是要低一点的。