深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計算機體系結(jié)構(gòu)頂會

AIGC動態(tài)歡迎閱讀

原標(biāo)題：深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計算機體系結(jié)構(gòu)頂會
關(guān)鍵字：精度,模型,數(shù)據(jù),方案,硬件
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：9417字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部隨著深度神經(jīng)網(wǎng)絡(luò)（DNNs）模型在規(guī)模和復(fù)雜性上的迅速增長，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)處理方法面臨著嚴(yán)峻的挑戰(zhàn)。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)在處理參數(shù)規(guī)模大、精度要求高的神經(jīng)網(wǎng)絡(luò)模型時效率低下，無法滿足現(xiàn)有應(yīng)用的需求。
數(shù)值量化是神經(jīng)網(wǎng)絡(luò)模型壓縮的一種有效手段。在模型推理過程中，低位寬（比特）數(shù)據(jù)的存取和計算可以大幅度節(jié)省存儲空間、訪存帶寬與計算負(fù)載，從而降低推理延遲和能耗。當(dāng)前，大多數(shù)量化技術(shù)的位寬在 8bit。更為激進的量化算法，必須要修改硬件的操作粒度與數(shù)據(jù)流特征，才能在真實推理時獲得接近理論的收益。比如混合精度量化，激活數(shù)據(jù)的量化等方案。一方面，這些方案會顯式增加 book-keeping 存儲開銷和硬件邏輯，使得實際收益下降 [1,2,3]。另一方面，一些方案利用分布特征對量化范圍和粒度做約束，來減小上述硬件開銷 [4,5]。但其精度損失也受到不同模型和參數(shù)分布的影響，無法滿足現(xiàn)有應(yīng)用的需求。
為此，本文的研究者提出了 SPARK 技術(shù)，一種可擴展細(xì)粒度混合精度編碼的軟硬件協(xié)同設(shè)計。其核心優(yōu)勢如下：
固有比特冗余：SPARK 不對模型進行壓縮，而是剔除數(shù)據(jù)表示中固有

原文鏈接：深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計算機體系結(jié)構(gòu)頂會

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺