清華汪玉教授團(tuán)隊(duì)支招：如何把“大”模型部署到“小”設(shè)備上 | Q福利

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：清華汪玉教授團(tuán)隊(duì)支招：如何把“大”模型部署到“小”設(shè)備上 | Q福利
關(guān)鍵字：模型,華為,算法,高效,神經(jīng)網(wǎng)絡(luò)
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

2024 年，由 AI 驅(qū)動(dòng)的 GPT-4o 等應(yīng)用產(chǎn)品爆紅。這些熱門產(chǎn)品的廣闊應(yīng)用前景令人振奮，吸引了大量資源投入 AI 的算法研究、數(shù)據(jù)清洗、算力等方面的基礎(chǔ)建設(shè)中。
這些爆款應(yīng)用是由大數(shù)據(jù)訓(xùn)練的大模型支撐的。
舉例來說，近年來，大語(yǔ)言模型的訓(xùn)練數(shù)據(jù)和模型的體量迅速增長(zhǎng)，從 2017 年發(fā)布的有 1.65 億參數(shù)量的 Transformer，到 2020 年發(fā)布的有 1750 億參數(shù)量的 GPT-3，再到 2022 年發(fā)布的 ChatGPT 應(yīng)用背后的模型也至少有數(shù)百億參數(shù)量。
這樣的訓(xùn)練數(shù)據(jù)和模型體量的增長(zhǎng)帶來了模型能力的提升，讓大模型“涌現(xiàn)”出指令跟隨、上下文學(xué)習(xí)等能力，展示出“通用”的生成能力。
有目共睹的是，生成式任務(wù)的智能算法模型擴(kuò)大，對(duì)算力的需求急劇增加。
在這個(gè)背景下，高效深度學(xué)習(xí)領(lǐng)域顯得尤為關(guān)鍵，得到了廣泛關(guān)注。
如何將“大”模型（參數(shù)量大、計(jì)算量大）部署到“小”設(shè)備上（資源受限，計(jì)算和存儲(chǔ)能力低），同時(shí)盡量保持算法性能是各應(yīng)用領(lǐng)域都非常關(guān)心的話題。
實(shí)際應(yīng)用場(chǎng)景關(guān)心的硬件性能指標(biāo)主要包括延時(shí)（Latency）、吞吐率（Throughput）、功率（Power）、

原文鏈接：清華汪玉教授團(tuán)隊(duì)支招：如何把“大”模型部署到“小”設(shè)備上 | Q福利