你的GPU能跑Llama 2等大模型嗎？用這個(gè)開(kāi)源項(xiàng)目上手測(cè)一測(cè)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：你的GPU能跑Llama 2等大模型嗎？用這個(gè)開(kāi)源項(xiàng)目上手測(cè)一測(cè)

關(guān)鍵字：模型,內(nèi)存,項(xiàng)目,作者,上下文

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：3295字

內(nèi)容摘要：機(jī)器之心報(bào)道編輯：陳萍你的 GPU 內(nèi)存夠用嗎？這有一個(gè)項(xiàng)目，可以提前幫你查看。在算力為王的時(shí)代，你的 GPU 可以順暢的運(yùn)行大模型（LLM）嗎？對(duì)于這一問(wèn)題，很多人都難以給出確切的回答，不知該如何計(jì)算 GPU 內(nèi)存。因?yàn)椴榭?GPU 可以處理哪些 LLM 并不像查看模型大小那么容易，在推理期間（KV 緩存）模型會(huì)占用大量?jī)?nèi)存，例如，llama-2-7b 的序列長(zhǎng)度為 1000，需要 1GB 的額…

原文鏈接：點(diǎn)此閱讀原文：你的GPU能跑Llama 2等大模型嗎？用這個(gè)開(kāi)源項(xiàng)目上手測(cè)一測(cè)

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)