AIGC動態(tài)歡迎閱讀

原標題：大模型生成提速2倍！單GPU幾小時搞定微調(diào)，北大數(shù)院校友共同一作丨開源

關鍵字：模型,參數(shù),速度,內(nèi)存,方法

文章來源：量子位

內(nèi)容字數(shù)：4591字

內(nèi)容摘要：蕭簫 發(fā)自 凹非寺量子位 | 公眾號 QbitAI只需給大模型“加點小零件”，推理速度立刻提升2倍！不需要額外訓練一個模型，也不需要對計算硬件做優(yōu)化，單張A100最快幾小時就能微調(diào)完成。這項新研究名叫Medusa（美杜莎），來自普林斯頓、UIUC、CMU和康涅狄格大學，F(xiàn)lashAttention作者Tri Dao也在其中。目前，它已經(jīng)成功部署到伯克利70億參數(shù)的“駱馬”Vicuna中，后續(xù)還會支…

原文鏈接：點此閱讀原文：大模型生成提速2倍！單GPU幾小時搞定微調(diào)，北大數(shù)院校友共同一作丨開源

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破