AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：微軟、國(guó)科大開(kāi)啟1Bit時(shí)代：大模型轉(zhuǎn)三進(jìn)制，速度快4倍能耗降至1/41
關(guān)鍵字：模型,報(bào)告,內(nèi)存,性能,基線
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6222字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部性的提升來(lái)了。把大模型的權(quán)重統(tǒng)統(tǒng)改成三元表示，速度和效率的提升讓人害怕。
今天凌晨，由微軟、國(guó)科大等機(jī)構(gòu)提交的一篇論文在 AI 圈里被人們爭(zhēng)相轉(zhuǎn)閱。該研究提出了一種 1-bit 大模型，實(shí)現(xiàn)效果讓人只想說(shuō)兩個(gè)字：震驚。如果該論文的方法可以廣泛使用，這可能是生成式 AI 的新時(shí)代。
對(duì)此，已經(jīng)有人在暢想 1-bit 大模型的適用場(chǎng)景，看起來(lái)很適合物聯(lián)網(wǎng)，這在以前是不可想象的。人們還發(fā)現(xiàn)，這個(gè)提升速度不是線性的 —— 而是，模型越大，這么做帶來(lái)的提升就越大。還有這種好事？看起來(lái)英偉達(dá)要掂量掂量了。
近年來(lái)，大語(yǔ)言模型（LLM）的參數(shù)規(guī)模和能力快速增長(zhǎng)，既在廣泛的自然語(yǔ)言處理任務(wù)中表現(xiàn)出了卓越的性能，也為部署帶來(lái)了挑戰(zhàn)，并引發(fā)人們擔(dān)憂高能耗會(huì)對(duì)環(huán)境和經(jīng)濟(jì)造成影響。
因此，使用后訓(xùn)練（post-training）量化技術(shù)來(lái)創(chuàng)建低 bit 推理模型成為上述問(wèn)題的解決方案。這類技術(shù)可以降低權(quán)重和激活函數(shù)的精度，顯著降低 LLM 的內(nèi)存和計(jì)算需求。目前的發(fā)展趨勢(shì)是從 16 bits 轉(zhuǎn)向更低的 bit，比如 4 bits。然而，雖然這類量化技術(shù)在 LLM 中廣泛使用，

原文鏈接：微軟、國(guó)科大開(kāi)啟1Bit時(shí)代：大模型轉(zhuǎn)三進(jìn)制，速度快4倍能耗降至1/41

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)