AIGC動態歡迎閱讀

原標題：深度網絡數據編碼新突破，上交大SPARK登上計算機體系結構頂會
關鍵字：精度,模型,數據,方案,硬件
文章來源：機器之心
內容字數：9417字

內容摘要：

機器之心專欄
機器之心編輯部隨著深度神經網絡（DNNs）模型在規模和復雜性上的迅速增長，傳統的神經網絡處理方法面臨著嚴峻的挑戰。現有的神經網絡壓縮技術在處理參數規模大、精度要求高的神經網絡模型時效率低下，無法滿足現有應用的需求。
數值量化是神經網絡模型壓縮的一種有效手段。在模型推理過程中，低位寬（比特）數據的存取和計算可以大幅度節省存儲空間、訪存帶寬與計算負載，從而降低推理延遲和能耗。當前，大多數量化技術的位寬在 8bit。更為激進的量化算法，必須要修改硬件的操作粒度與數據流特征，才能在真實推理時獲得接近理論的收益。比如混合精度量化，激活數據的量化等方案。一方面，這些方案會顯式增加 book-keeping 存儲開銷和硬件邏輯，使得實際收益下降 [1,2,3]。另一方面，一些方案利用分布特征對量化范圍和粒度做約束，來減小上述硬件開銷 [4,5]。但其精度損失也受到不同模型和參數分布的影響，無法滿足現有應用的需求。
為此，本文的研究者提出了 SPARK 技術，一種可擴展細粒度混合精度編碼的軟硬件協同設計。其核心優勢如下：
固有比特冗余：SPARK 不對模型進行壓縮，而是剔除數據表示中固有

原文鏈接：深度網絡數據編碼新突破，上交大SPARK登上計算機體系結構頂會

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺