AIGC動態歡迎閱讀

原標題：現在LLM 的大小為什么都設計成6/7B、13B和130B幾個檔次？
關鍵字：騰訊,知乎,顯存,模型,侵權
文章來源：算法邦
內容字數：0字

內容摘要：

6月27日15點，3位騰訊云專家將在線直播，分享騰訊云在內容創作、Al問答及知識點提煉、智能調研和報告生成等領域的應用探索和落地實踐，歡迎掃碼預約直播。導讀本文來自知乎，作者為真中，出于學術/技術分享進行轉載，如有侵權，聯系刪文。
本文作者對知乎的一個問題“現在LLM 的大小為什么都設計成6/7B、13B和130B幾個檔次？”進行回答并對評論區的問題“怎么計算顯存占用”進行了補充回答。
原文鏈接：https://www.zhihu.com/question/627258986/answer/3262812950現在LLM 的大小為什么都設計成6/7B、13B和130B幾個檔次？
能下載到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三種，比如ChatGLM 和Llama2 等。這個在數學上有什么講究嗎？
答案簡單，就是匹配顯存。
6B模型可以在在12/16/24G顯存的消費級顯卡部署和訓練。如果一個公司的模型不打算在消費級顯卡部署，通常不會訓6B這個規模。而且通常還會有一個1.4b或者2.8b，這個是比較適合在手機、車載端量化部署的尺寸。
13B模型按照4k長度組織數

原文鏈接：現在LLM 的大小為什么都設計成6/7B、13B和130B幾個檔次？

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。