ACL 2024: ChatGPT栽了！數(shù)據(jù)標(biāo)注還得靠人類

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ACL 2024: ChatGPT栽了！數(shù)據(jù)標(biāo)注還得靠人類
關(guān)鍵字：謂詞,基準(zhǔn),猶太人,猶太,句子
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)作者 | 謝年年
人工智能領(lǐng)域苦于數(shù)據(jù)標(biāo)注久已，ChatGPT的出現(xiàn)似乎打破了這個(gè)僵局。
早在2023年,蘇黎世大學(xué)一篇論文[1]發(fā)現(xiàn)，無(wú)論成本還是效率，ChatGPT吊打人類，成本上，ChatGPT平均每個(gè)標(biāo)注成本低于0.003美元，比眾包平臺(tái)便宜20倍；效率上，在相關(guān)性、立場(chǎng)、主題等任務(wù)中，80%的任務(wù)都優(yōu)于人類。
ChatGPT一出手，就知有沒(méi)有！
但是，最近，來(lái)自ACL2024的一篇文章卻表示：
我們強(qiáng)烈建議避免在評(píng)估LLMs的公平性基準(zhǔn)創(chuàng)建中使用LLMs標(biāo)注，并強(qiáng)調(diào)人類標(biāo)注的重要性，特別是在敏感和高度依賴上下文的任務(wù)中。
是怎么回事呢？
眾所周知，LLMs存在一些社會(huì)偏見(jiàn)，這通常通過(guò)一些偏見(jiàn)基準(zhǔn)數(shù)據(jù)集來(lái)衡量。為了更好促進(jìn)LLMs的公平性，這篇文章引入了一個(gè)新的偏見(jiàn)數(shù)據(jù)集基準(zhǔn)——關(guān)于猶太社區(qū)和反猶主義。
由于人工標(biāo)注數(shù)據(jù)費(fèi)時(shí)費(fèi)力，并且此類偏見(jiàn)數(shù)據(jù)存在大量暴利和仇恨的語(yǔ)言，對(duì)人類標(biāo)注員的心理健康危害很大。因此作者嘗試使用GPT輔助標(biāo)注，但是結(jié)果卻顯示GPT標(biāo)注的數(shù)據(jù)存在很大的質(zhì)量問(wèn)題，比如提取信息不完整、虛構(gòu)用詞等等，嚴(yán)重影響了下游任務(wù)對(duì)基準(zhǔn)數(shù)據(jù)集的評(píng)測(cè)。一起來(lái)

原文鏈接：ACL 2024: ChatGPT栽了！數(shù)據(jù)標(biāo)注還得靠人類

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬(wàn)AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺(jué)和洞察深度。商務(wù)合作：zym5189