AIGC動態(tài)歡迎閱讀

原標題：7.7億參數(shù)，超越5400億PaLM！UW谷歌提出「分步蒸餾」，只需80%訓(xùn)練數(shù)據(jù)｜ACL 2023

關(guān)鍵字：模型,數(shù)據(jù),性能,任務(wù),樣本

文章來源：新智元

內(nèi)容字數(shù)：8433字

內(nèi)容摘要：新智元報道編輯：LRS【新智元導(dǎo)讀】LLM不實用，小模型蒸餾才是「現(xiàn)實」的大模型應(yīng)用路線，全面領(lǐng)先微調(diào)技術(shù)！土豪請無視。。。大型語言模型雖然性能優(yōu)異，可以用零樣本或少樣本提示解決新任務(wù)，但LLM在實際應(yīng)用部署時卻很不實用，內(nèi)存利用效率低，并且需要大量計算資源。比如運行一個1750億參數(shù)的語言模型服務(wù)至少需要350GB的顯存，而目前最先進的語言模型大多已超過5000億參數(shù)量，很多研究團隊都沒有足夠的…

原文鏈接：點此閱讀原文：7.7億參數(shù)，超越5400億PaLM！UW谷歌提出「分步蒸餾」，只需80%訓(xùn)練數(shù)據(jù)｜ACL 2023

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。