2024屬于小模型時代？TinyLlama 等小模型爆火

AIGC動態歡迎閱讀

原標題：2024屬于小模型時代？TinyLlama 等小模型爆火
關鍵字：模型,參數,語言,研究者,任務
文章來源：算法邦
內容字數：4495字

內容摘要：

直播預告 | 明晚(周三)7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者，共同探討多模態大模型的發展與應用，歡迎報名。本文轉載自公眾號：AINLPer，作者：ShuYini。當大家都在研究大模型（LLM）參數規模達到百億甚至千億級別的同時，小巧且兼具高性能的小模型開始受到研究者的關注。
小模型在邊緣設備上有著廣泛的應用，如智能手機、物聯網設備和嵌入式系統，這些邊緣設備通常具有有限的計算能力和存儲空間，它們無法有效地運行大型語言模型。因此，深入探究小型模型顯得尤為重要。
接下來我們要介紹的這兩項研究，可能滿足你對小模型的需求。
01TinyLlama-1.1B來自新加坡科技設計大學（SUTD）的研究者近日推出了 TinyLlama，該語言模型的參數量為 11 億，在大約 3 萬億個 token 上預訓練而成。論文地址：
https://arxiv.org/pdf/2401.02385.pdf
項目地址：
https://github.com/jzhang38/TinyLlama/blob/main/RE

原文鏈接：2024屬于小模型時代？TinyLlama 等小模型爆火

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。