今日arXiv最熱大模型論文:何愷明重提十年之爭(zhēng)——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見(jiàn)

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:今日arXiv最熱大模型論文:何愷明重提十年之爭(zhēng)——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見(jiàn)
關(guān)鍵字:數(shù)據(jù),偏差,模型,任務(wù),神經(jīng)網(wǎng)絡(luò)
文章來(lái)源:夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù):9539字
內(nèi)容摘要:
夕小瑤科技說(shuō) 原創(chuàng)作者 | 松果2011年,知名學(xué)者Antonio Torralba和Alyosha Efros提出了“數(shù)據(jù)集偏差之戰(zhàn)”,他們發(fā)現(xiàn)機(jī)器學(xué)習(xí)模型很容易“過(guò)擬合”到特定的數(shù)據(jù)集上,導(dǎo)致在其他數(shù)據(jù)集上表現(xiàn)不佳。過(guò)去十年,隨著深度學(xué)習(xí)的到來(lái),建立多樣化、大規(guī)模、全面且盡可能無(wú)偏的數(shù)據(jù)集一直是推動(dòng)這場(chǎng)的引擎。
與此同時(shí),算法的進(jìn)步,特別是神經(jīng)網(wǎng)絡(luò)架構(gòu)的進(jìn)步,已經(jīng)在發(fā)現(xiàn)數(shù)據(jù)中的概念、抽象和模式——包括偏見(jiàn)——方面取得了前所未有的能力。
所以,為了研究此問(wèn)題,何愷明團(tuán)隊(duì)設(shè)計(jì)了一個(gè)虛構(gòu)的”數(shù)據(jù)集分類(lèi)”任務(wù)。在本篇論文中,研究者們?cè)谑甑膽?zhàn)斗之后重新審視了數(shù)據(jù)集偏差問(wèn)題。本研究基于一個(gè)被稱(chēng)之為數(shù)據(jù)集分類(lèi)的虛構(gòu)任務(wù)(例如其中一個(gè)研究的典型組合被稱(chēng)為“YCD”,呈現(xiàn)了一個(gè)三向數(shù)據(jù)集分類(lèi)問(wèn)題),由構(gòu)建更少偏見(jiàn)的數(shù)據(jù)集與開(kāi)發(fā)更強(qiáng)大的模型之間的張力驅(qū)動(dòng)。
令研究者和許多最初讀者驚訝的是,現(xiàn)代神經(jīng)網(wǎng)絡(luò)在這樣的數(shù)據(jù)集分類(lèi)任務(wù)上可以取得極高的準(zhǔn)確率,且這一觀察結(jié)果非常穩(wěn)健。進(jìn)一步的實(shí)驗(yàn)表明,通過(guò)分類(lèi)數(shù)據(jù)集學(xué)到的表示攜帶了一些可轉(zhuǎn)移到圖像分類(lèi)任務(wù)的語(yǔ)義信息。
總之,報(bào)告顯示,現(xiàn)代神經(jīng)網(wǎng)絡(luò)驚人地有能
原文鏈接:今日arXiv最熱大模型論文:何愷明重提十年之爭(zhēng)——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見(jiàn)
聯(lián)系作者
文章來(lái)源:夕小瑤科技說(shuō)
作者微信:xixiaoyaoQAQ
作者簡(jiǎn)介:更快的AI前沿,更深的行業(yè)洞見(jiàn)。聚集25萬(wàn)AI一線(xiàn)開(kāi)發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線(xiàn)作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠,兼?zhèn)湫袠I(yè)嗅覺(jué)與報(bào)道深度。

粵公網(wǎng)安備 44011502001135號(hào)