8張3090，1天壓縮萬億參數大模型！3.2TB驟降至160GB，壓縮率高達20倍

AIGC動態歡迎閱讀

原標題：8張3090，1天壓縮萬億參數大模型！3.2TB驟降至160GB，壓縮率高達20倍

關鍵字：模型,研究人員,參數,內核,專家

文章來源：新智元

內容字數：5479字

內容摘要：新智元報道編輯：好困【新智元導讀】最近，來自ISTA的研究人員提出了一種全新的模型量化方法QMoE，可以將1.6萬億個參數的SwitchTransformer壓縮到160GB以下（每個參數0.8位），且精度損失很小。隨著GPT-4的架構被知名業內大佬「開源」，混合專家架構（MoE）再次成為了研究的重點。GPT-4擁有16個專家模型，總共包含1.8萬億個參數。每生成一個token需要使用大約2800…

原文鏈接：點此閱讀原文：8張3090，1天壓縮萬億參數大模型！3.2TB驟降至160GB，壓縮率高達20倍

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。