S-LoRA：一個GPU運行數千大模型成為可能

AIGC動態歡迎閱讀

原標題：S-LoRA：一個GPU運行數千大模型成為可能

關鍵字：適配器,權重,張量,模型,內存

文章來源：機器之心

內容字數：5947字

內容摘要：機器之心報道編輯：蛋醬一般來說，大語言模型的部署都會采用「預訓練 — 然后微調」的模式。但是，當針對眾多任務（如個性化助手）對 base 模型進行微調時，訓練和服務成本會變得非常高昂。低秩適配（LowRank Adaptation，LoRA）是一種參數效率高的微調方法，通常用于將 base 模型適配到多種任務中，從而產生了大量從一個 base 模型衍生出來的 LoRA 適配程序。這種模式為服務過程…

原文鏈接：點此閱讀原文：S-LoRA：一個GPU運行數千大模型成為可能

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺