36年前魔咒！Meta推出反向訓練消除大模型「逆轉詛咒」

AIGC動態歡迎閱讀

原標題：36年前魔咒！Meta推出反向訓練消除大模型「逆轉詛咒」
關鍵字：實體,單詞,模型,研究人員,語言
文章來源：新智元
內容字數：5516字

內容摘要：

新智元報道編輯：alan
【新智元導讀】大語言模型的「逆轉詛咒」，被解開了。近日，來自Meta FAIR的研究人員推出了反向訓練，讓模型從反方向上學到了事實之間的邏輯，終于改進了這個困擾人們已久的問題。大語言模型的「逆轉詛咒」，被解開了！
這個詛咒在去年9月首次被發現，一時間引起LeCun、Karpathy、馬庫斯等一眾大佬的驚呼。
因為風光無兩、不可一世的大模型竟存在著“阿克琉斯之踵”：一個在「A是B」上訓練的語言模型，并不能正確回答出「B是A」。
比如下面這個例子：在LLM明知道「湯姆·克魯斯的母親是Mary Lee Pfeiffer」的情況下，卻無法答出「Mary Lee Pfeiffer的孩子是湯姆·克魯斯」。
——這可是當時最先進的GPT-4，結果連小孩子都具備的正常邏輯思維，LLM卻做不到。
立于海量的數據之上，記住了幾乎超過所有人類的知識，卻表現得如此呆板，取得了智慧之火，卻永遠被囚禁于這個詛咒之中。
論文地址：https://arxiv.org/pdf/2309.12288v1.pdf
這事一出，全網一片嘩然。
一方面，網友們表示，大模型真傻，真的。單知道「A是B

原文鏈接：36年前魔咒！Meta推出反向訓練消除大模型「逆轉詛咒」

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。