輕量級(jí)模型，重量級(jí)性能，TinyLlama、LiteLlama小模型火起來(lái)了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：輕量級(jí)模型，重量級(jí)性能，TinyLlama、LiteLlama小模型火起來(lái)了
關(guān)鍵字：模型,參數(shù),研究者,任務(wù),語(yǔ)言
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4559字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：陳萍、大盤(pán)雞小身板，大能量。
當(dāng)大家都在研究大模型（LLM）參數(shù)規(guī)模達(dá)到百億甚至千億級(jí)別的同時(shí)，小巧且兼具高性能的小模型開(kāi)始受到研究者的關(guān)注。
小模型在邊緣設(shè)備上有著廣泛的應(yīng)用，如智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和嵌入式系統(tǒng)，這些邊緣設(shè)備通常具有有限的計(jì)算能力和存儲(chǔ)空間，它們無(wú)法有效地運(yùn)行大型語(yǔ)言模型。因此，深入探究小型模型顯得尤為重要。
接下來(lái)我們要介紹的這兩項(xiàng)研究，可能滿(mǎn)足你對(duì)小模型的需求。
TinyLlama-1.1B
來(lái)自新加坡科技設(shè)計(jì)大學(xué)（SUTD）的研究者近日推出了 TinyLlama，該語(yǔ)言模型的參數(shù)量為 11 億，在大約 3 萬(wàn)億個(gè) token 上預(yù)訓(xùn)練而成。論文地址：https://arxiv.org/pdf/2401.02385.pdf
項(xiàng)目地址：https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md
TinyLlama 以 Llama 2 架構(gòu)和分詞器（tokenizer）為基礎(chǔ)，這意味著 TinyLlama 可以在許多基于 Llama 的開(kāi)源項(xiàng)目中即插即用。此外，TinyLlama

原文鏈接：輕量級(jí)模型，重量級(jí)性能，TinyLlama、LiteLlama小模型火起來(lái)了

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)