現(xiàn)在LLM 的大小為什么都設(shè)計(jì)成6/7B、13B和130B幾個(gè)檔次？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：現(xiàn)在LLM 的大小為什么都設(shè)計(jì)成6/7B、13B和130B幾個(gè)檔次？
關(guān)鍵字：騰訊,知乎,顯存,模型,侵權(quán)
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

6月27日15點(diǎn)，3位騰訊云專家將在線直播，分享騰訊云在內(nèi)容創(chuàng)作、Al問答及知識(shí)點(diǎn)提煉、智能調(diào)研和報(bào)告生成等領(lǐng)域的應(yīng)用探索和落地實(shí)踐，歡迎掃碼預(yù)約直播。導(dǎo)讀本文來自知乎，作者為真中，出于學(xué)術(shù)/技術(shù)分享進(jìn)行轉(zhuǎn)載，如有侵權(quán)，聯(lián)系刪文。
本文作者對(duì)知乎的一個(gè)問題“現(xiàn)在LLM 的大小為什么都設(shè)計(jì)成6/7B、13B和130B幾個(gè)檔次？”進(jìn)行回答并對(duì)評(píng)論區(qū)的問題“怎么計(jì)算顯存占用”進(jìn)行了補(bǔ)充回答。
原文鏈接：https://www.zhihu.com/question/627258986/answer/3262812950現(xiàn)在LLM 的大小為什么都設(shè)計(jì)成6/7B、13B和130B幾個(gè)檔次？
能下載到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三種，比如ChatGLM 和Llama2 等。這個(gè)在數(shù)學(xué)上有什么講究嗎？
答案簡單，就是匹配顯存。
6B模型可以在在12/16/24G顯存的消費(fèi)級(jí)顯卡部署和訓(xùn)練。如果一個(gè)公司的模型不打算在消費(fèi)級(jí)顯卡部署，通常不會(huì)訓(xùn)6B這個(gè)規(guī)模。而且通常還會(huì)有一個(gè)1.4b或者2.8b，這個(gè)是比較適合在手機(jī)、車載端量化部署的尺寸。
13B模型按照4k長度組織數(shù)

原文鏈接：現(xiàn)在LLM 的大小為什么都設(shè)計(jì)成6/7B、13B和130B幾個(gè)檔次？