頂會(huì)審稿人緊缺，我審我自己！ICML 2023排序?qū)嶒?yàn)結(jié)果出爐：作者自評能提升評審質(zhì)量嗎？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：頂會(huì)審稿人緊缺，我審我自己！ICML 2023排序?qū)嶒?yàn)結(jié)果出爐：作者自評能提升評審質(zhì)量嗎？
關(guān)鍵字：審稿人,評分,論文,誤差,作者
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST
【新智元導(dǎo)讀】賓夕法尼亞大學(xué)蘇煒杰教授團(tuán)隊(duì)在ICML 2023會(huì)議中進(jìn)行實(shí)驗(yàn)顯示，經(jīng)過作者自評校準(zhǔn)后，審稿分?jǐn)?shù)的誤差降低超過20%。近年來，以ICLR、NeurIPS、ICML等為代表的機(jī)器學(xué)習(xí)會(huì)議投稿量式增長。在短短6年間，ICML的投稿量翻了四倍。
這給現(xiàn)有的同行評審（Peer Review）制度帶來巨大壓力。每位審稿人被要求在短時(shí)間內(nèi)閱讀大量文章并給出審稿意見，做出「生死判決」。隨著ChatGPT的出現(xiàn)，大量審稿意見甚至直接由AI生成。
這導(dǎo)致了同行評審質(zhì)量的嚴(yán)重下降。最優(yōu)秀的論文被拒，而較差的論文反而被接收。對于眾多機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的從業(yè)者來說，這種現(xiàn)象已經(jīng)司空見慣。審稿質(zhì)量太差已經(jīng)逐漸成為每次頂級會(huì)議后必談的主題。這是因?yàn)橐粋€(gè)有經(jīng)驗(yàn)的審稿人往往需要多年的培養(yǎng)。在面對大量投稿時(shí)，優(yōu)質(zhì)審稿人早已成為「稀缺資源」。由于增加優(yōu)質(zhì)審稿人或給每位分配更多的論文是不現(xiàn)實(shí)的，我們或許可以要求投稿作者提供信息來協(xié)助會(huì)議決策。
在此背景下，賓夕法尼亞大學(xué)統(tǒng)計(jì)系和計(jì)算機(jī)系的蘇煒杰教授團(tuán)隊(duì)提出了一種創(chuàng)新的審稿方法：「我審我自己」。論文鏈接：https://arx

原文鏈接：頂會(huì)審稿人緊缺，我審我自己！ICML 2023排序?qū)嶒?yàn)結(jié)果出爐：作者自評能提升評審質(zhì)量嗎？