輕量級模型，重量級性能，TinyLlama、LiteLlama小模型火起來了

AIGC動態歡迎閱讀

原標題：輕量級模型，重量級性能，TinyLlama、LiteLlama小模型火起來了
關鍵字：模型,參數,研究者,任務,語言
文章來源：機器之心
內容字數：4559字

內容摘要：

機器之心報道
編輯：陳萍、大盤雞小身板，大能量。
當大家都在研究大模型（LLM）參數規模達到百億甚至千億級別的同時，小巧且兼具高性能的小模型開始受到研究者的關注。
小模型在邊緣設備上有著廣泛的應用，如智能手機、物聯網設備和嵌入式系統，這些邊緣設備通常具有有限的計算能力和存儲空間，它們無法有效地運行大型語言模型。因此，深入探究小型模型顯得尤為重要。
接下來我們要介紹的這兩項研究，可能滿足你對小模型的需求。
TinyLlama-1.1B
來自新加坡科技設計大學（SUTD）的研究者近日推出了 TinyLlama，該語言模型的參數量為 11 億，在大約 3 萬億個 token 上預訓練而成。論文地址：https://arxiv.org/pdf/2401.02385.pdf
項目地址：https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama 以 Llama 2 架構和分詞器（tokenizer）為基礎，這意味著 TinyLlama 可以在許多基于 Llama 的開源項目中即插即用。此外，TinyLlama

原文鏈接：輕量級模型，重量級性能，TinyLlama、LiteLlama小模型火起來了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺