36年前魔咒！Meta推出反向訓練消除大模型「逆轉(zhuǎn)詛咒」

AIGC動態(tài)歡迎閱讀

原標題：36年前魔咒！Meta推出反向訓練消除大模型「逆轉(zhuǎn)詛咒」
關(guān)鍵字：實體,單詞,模型,研究人員,語言
文章來源：新智元
內(nèi)容字數(shù)：5516字

內(nèi)容摘要：

新智元報道編輯：alan
【新智元導讀】大語言模型的「逆轉(zhuǎn)詛咒」，被解開了。近日，來自Meta FAIR的研究人員推出了反向訓練，讓模型從反方向上學到了事實之間的邏輯，終于改進了這個困擾人們已久的問題。大語言模型的「逆轉(zhuǎn)詛咒」，被解開了！
這個詛咒在去年9月首次被發(fā)現(xiàn)，一時間引起LeCun、Karpathy、馬庫斯等一眾大佬的驚呼。
因為風光無兩、不可一世的大模型竟存在著“阿克琉斯之踵”：一個在「A是B」上訓練的語言模型，并不能正確回答出「B是A」。
比如下面這個例子：在LLM明知道「湯姆·克魯斯的母親是Mary Lee Pfeiffer」的情況下，卻無法答出「Mary Lee Pfeiffer的孩子是湯姆·克魯斯」。
——這可是當時最先進的GPT-4，結(jié)果連小孩子都具備的正常邏輯思維，LLM卻做不到。
立于海量的數(shù)據(jù)之上，記住了幾乎超過所有人類的知識，卻表現(xiàn)得如此呆板，取得了智慧之火，卻永遠被囚禁于這個詛咒之中。
論文地址：https://arxiv.org/pdf/2309.12288v1.pdf
這事一出，全網(wǎng)一片嘩然。
一方面，網(wǎng)友們表示，大模型真傻，真的。單知道「A是B

原文鏈接：36年前魔咒！Meta推出反向訓練消除大模型「逆轉(zhuǎn)詛咒」

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。