AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：今日arXiv最熱大模型論文：何愷明重提十年之爭(zhēng)——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見(jiàn)
關(guān)鍵字：數(shù)據(jù),偏差,模型,任務(wù),神經(jīng)網(wǎng)絡(luò)
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：9539字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)作者 | 松果2011年,知名學(xué)者Antonio Torralba和Alyosha Efros提出了“數(shù)據(jù)集偏差之戰(zhàn)”，他們發(fā)現(xiàn)機(jī)器學(xué)習(xí)模型很容易“過(guò)擬合”到特定的數(shù)據(jù)集上，導(dǎo)致在其他數(shù)據(jù)集上表現(xiàn)不佳。過(guò)去十年，隨著深度學(xué)習(xí)的到來(lái)，建立多樣化、大規(guī)模、全面且盡可能無(wú)偏的數(shù)據(jù)集一直是推動(dòng)這場(chǎng)的引擎。
與此同時(shí)，算法的進(jìn)步，特別是神經(jīng)網(wǎng)絡(luò)架構(gòu)的進(jìn)步，已經(jīng)在發(fā)現(xiàn)數(shù)據(jù)中的概念、抽象和模式——包括偏見(jiàn)——方面取得了前所未有的能力。
所以，為了研究此問(wèn)題，何愷明團(tuán)隊(duì)設(shè)計(jì)了一個(gè)虛構(gòu)的”數(shù)據(jù)集分類(lèi)”任務(wù)。在本篇論文中，研究者們?cè)谑甑膽?zhàn)斗之后重新審視了數(shù)據(jù)集偏差問(wèn)題。本研究基于一個(gè)被稱(chēng)之為數(shù)據(jù)集分類(lèi)的虛構(gòu)任務(wù)（例如其中一個(gè)研究的典型組合被稱(chēng)為“YCD”，呈現(xiàn)了一個(gè)三向數(shù)據(jù)集分類(lèi)問(wèn)題），由構(gòu)建更少偏見(jiàn)的數(shù)據(jù)集與開(kāi)發(fā)更強(qiáng)大的模型之間的張力驅(qū)動(dòng)。
令研究者和許多最初讀者驚訝的是，現(xiàn)代神經(jīng)網(wǎng)絡(luò)在這樣的數(shù)據(jù)集分類(lèi)任務(wù)上可以取得極高的準(zhǔn)確率，且這一觀察結(jié)果非常穩(wěn)健。進(jìn)一步的實(shí)驗(yàn)表明，通過(guò)分類(lèi)數(shù)據(jù)集學(xué)到的表示攜帶了一些可轉(zhuǎn)移到圖像分類(lèi)任務(wù)的語(yǔ)義信息。
總之，報(bào)告顯示，現(xiàn)代神經(jīng)網(wǎng)絡(luò)驚人地有能

原文鏈接：今日arXiv最熱大模型論文：何愷明重提十年之爭(zhēng)——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見(jiàn)

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見(jiàn)。聚集25萬(wàn)AI一線(xiàn)開(kāi)發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線(xiàn)作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)湫袠I(yè)嗅覺(jué)與報(bào)道深度。