如何估計LLM推理和訓(xùn)練所需的GPU內(nèi)存？

AIGC動態(tài)歡迎閱讀

原標題：如何估計LLM推理和訓(xùn)練所需的GPU內(nèi)存？
關(guān)鍵字：模型,侵權(quán),知乎,參數(shù),精度
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

導(dǎo)讀文章轉(zhuǎn)載自知乎，作者為孫鵬飛，本文整理了一份訓(xùn)練或推理需要顯存的計算方式。
原文地址：https://zhuanlan.zhihu.com/p/716317173
本文只做學術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。在實際工作中，經(jīng)常有人問，7B、14B或70B的模型需要多大的顯存才能推理？如果微調(diào)他們又需要多大的顯存呢？為了回答這個問題整理一份訓(xùn)練或推理需要顯存的計算方式。如果大家對具體細節(jié)不感興趣，可以直接參考經(jīng)驗法則評估推理或訓(xùn)練所需要的資源。更簡單的方式可以通過這個工具（https://llm-system-requirements.streamlit.app/）或者huggface官網(wǎng)計算推理/訓(xùn)練需要的顯存工具（https://huggingface.co/spaces/hf-accelerate/model-memory-usage）在線評估。
01數(shù)據(jù)精度開始介紹之前，先說一個重要的概念——數(shù)據(jù)精度。數(shù)據(jù)精度指的是信息表示的精細程度，在計算機中是由數(shù)據(jù)類型和其位數(shù)決定的。如果想要計算顯存，從“原子”層面來看，就需要知道我們的使用數(shù)據(jù)的精度，因為精度代表了數(shù)據(jù)存儲的方式，決定

原文鏈接：如何估計LLM推理和訓(xùn)練所需的GPU內(nèi)存？

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：