大模型筆記！以LLAMA為例，快速入門LLM的推理過程

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型筆記！以LLAMA為例，快速入門LLM的推理過程
關(guān)鍵字：模型,知乎,分詞,注意力,上下文
文章來(lái)源：算法邦
內(nèi)容字?jǐn)?shù)：38264字

內(nèi)容摘要：

直播預(yù)告 | 下周一晚7點(diǎn)，「自動(dòng)駕駛新青年講座」第35講正式開講，LMDrive一作、香港中文大學(xué)MMLab在讀博士邵昊將主講《LMDrive：大語(yǔ)言模型加持的閉環(huán)端到端自動(dòng)駕駛框架》，歡迎掃名~本文借助llama這個(gè)模型快速入門LLM的推理過程，很多技術(shù)細(xì)節(jié)都是通用的，也適合其他的LLM。
這篇也算是總結(jié)的性質(zhì)，僅需要的知識(shí)點(diǎn)都列出來(lái)，簡(jiǎn)單介紹一番。可能說的不夠詳細(xì)，想看具體細(xì)節(jié)的小伙伴可參考文中引用的相關(guān)詳細(xì)文章。
本篇也可以作為CV快速入門NLP簡(jiǎn)易指南。當(dāng)然只是推理哈，不涉及到訓(xùn)練，僅是從部署的角度考慮這個(gè)模型，如對(duì)文中內(nèi)容有疑問，歡迎討論。
01什么是LLMllama是LLM（LLM指大語(yǔ)言模型）模型的一種結(jié)構(gòu)，llama這種模型的任務(wù)就是在閱讀前n個(gè)單詞后預(yù)測(cè)句子中下一個(gè)單詞，輸出取決于過去和現(xiàn)在輸入，與未來(lái)無(wú)關(guān)。
過程大概是這樣，每次輸入模型會(huì)帶上上一次輸出的結(jié)果（不同于CV模型，CV模型輸入只需要一次即可，一次推理即可得到結(jié)果）：
LLM-生成
一般來(lái)說，LLM模型主要由兩個(gè)塊組成：
編碼器（左側(cè)）：編碼器接收輸入并構(gòu)建其表示形式（特征）。這意味著該模型被優(yōu)化為從

原文鏈接：大模型筆記！以LLAMA為例，快速入門LLM的推理過程

聯(lián)系作者

文章來(lái)源：算法邦
作者微信：allplusai
作者簡(jiǎn)介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計(jì)算機(jī)視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會(huì)。