今日arXiv最熱大模型論文：何愷明重提十年之爭——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見

AIGC動態(tài)歡迎閱讀

原標(biāo)題：今日arXiv最熱大模型論文：何愷明重提十年之爭——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見
關(guān)鍵字：數(shù)據(jù),偏差,模型,任務(wù),神經(jīng)網(wǎng)絡(luò)
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：9539字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 松果2011年,知名學(xué)者Antonio Torralba和Alyosha Efros提出了“數(shù)據(jù)集偏差之戰(zhàn)”，他們發(fā)現(xiàn)機器學(xué)習(xí)模型很容易“過擬合”到特定的數(shù)據(jù)集上，導(dǎo)致在其他數(shù)據(jù)集上表現(xiàn)不佳。過去十年，隨著深度學(xué)習(xí)的到來，建立多樣化、大規(guī)模、全面且盡可能無偏的數(shù)據(jù)集一直是推動這場的引擎。
與此同時，算法的進步，特別是神經(jīng)網(wǎng)絡(luò)架構(gòu)的進步，已經(jīng)在發(fā)現(xiàn)數(shù)據(jù)中的概念、抽象和模式——包括偏見——方面取得了前所未有的能力。
所以，為了研究此問題，何愷明團隊設(shè)計了一個虛構(gòu)的”數(shù)據(jù)集分類”任務(wù)。在本篇論文中，研究者們在十年的戰(zhàn)斗之后重新審視了數(shù)據(jù)集偏差問題。本研究基于一個被稱之為數(shù)據(jù)集分類的虛構(gòu)任務(wù)（例如其中一個研究的典型組合被稱為“YCD”，呈現(xiàn)了一個三向數(shù)據(jù)集分類問題），由構(gòu)建更少偏見的數(shù)據(jù)集與開發(fā)更強大的模型之間的張力驅(qū)動。
令研究者和許多最初讀者驚訝的是，現(xiàn)代神經(jīng)網(wǎng)絡(luò)在這樣的數(shù)據(jù)集分類任務(wù)上可以取得極高的準(zhǔn)確率，且這一觀察結(jié)果非常穩(wěn)健。進一步的實驗表明，通過分類數(shù)據(jù)集學(xué)到的表示攜帶了一些可轉(zhuǎn)移到圖像分類任務(wù)的語義信息。
總之，報告顯示，現(xiàn)代神經(jīng)網(wǎng)絡(luò)驚人地有能

原文鏈接：今日arXiv最熱大模型論文：何愷明重提十年之爭——模型表現(xiàn)好是源于能力提升還是捕獲數(shù)據(jù)集偏見

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。