標(biāo)簽:高效

商湯科技研究副總監(jiān)龔睿昊:大語(yǔ)言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計(jì)

12月5日上午10點(diǎn),智猩猩AI教研組推出「大模型微調(diào)與推理部署線上閉門會(huì)」。閉門會(huì)由北京航空航天大學(xué)人工智能研究院助理教授郭晉陽(yáng)參與出品。Monash Univers...
閱讀原文

線上閉門會(huì)上新!北航、MIT、莫納什和商湯四位專家直播探討大模型微調(diào)與推理部署

今年9月起,智東西公開課品牌全新升級(jí)為智猩猩。智猩猩定位硬科技講解與服務(wù)平臺(tái),提供公開課、在線研討會(huì)、講座、線上閉門會(huì)、峰會(huì)等線上線下產(chǎn)品。「線上閉...
閱讀原文

用上這個(gè)工具包,大模型推理性能加速達(dá)40倍

作者:英特爾公司 沈海豪、羅嶼、孟恒宇、董波、林俊編者按:只需不到9行代碼,就能在CPU上實(shí)現(xiàn)出色的LLM推理性能。英特爾?Extension for Transformer創(chuàng)新工...
閱讀原文

清華大學(xué)劉知遠(yuǎn):大模型LLM領(lǐng)域,有哪些可以作為學(xué)術(shù)研究方向?

來(lái)源:圖靈人工智能作者:劉知遠(yuǎn),清華大學(xué)計(jì)算機(jī)系自然語(yǔ)言處理實(shí)驗(yàn)室副教授2022年初我做過(guò)一個(gè)報(bào)告題目是《大模型十問(wèn)》,分享我們認(rèn)為大模型值得探索的十...
閱讀原文

PyTorch大更新,編譯代碼速度暴增35倍!視覺模型一鍵部署,頭顯Quest 3可用

新智元報(bào)道編輯:潤(rùn) 貝果【新智元導(dǎo)讀】最近,在Pytorch發(fā)布會(huì)上,發(fā)布移動(dòng)端Pytorch解決方案ExecuTorch,實(shí)現(xiàn)在移動(dòng)端設(shè)備上大范圍地部署AI工具,并推出最新...
閱讀原文

智源扔出大模型“全家桶”!推最強(qiáng)開源中英雙語(yǔ)LLM,趕超Llama 2

智源推最強(qiáng)開源中英雙語(yǔ)大模型!340億參數(shù)超越Llama 2-70B。編輯|luna智東西10月12日?qǐng)?bào)道,今日,智源研究院宣布悟道·天鷹Aquila大語(yǔ)言模型系列全面升級(jí)到Aqu...
閱讀原文

生成式AI時(shí)代的模型壓縮與加速,韓松主講MIT課程,資料全公開

機(jī)器之心報(bào)道編輯:蛋醬近年來(lái),生成式大模型(如大語(yǔ)言模型、擴(kuò)散模型)已顯示出卓越的性能,但它們需要大量的計(jì)算資源。為了讓這些模型更易于使用,提高它...
閱讀原文

將混合專家推向極限:只需更新0.32%的參數(shù)就能完成模型微調(diào)

機(jī)器之心報(bào)道編輯:Panda W微調(diào)無(wú)需更新全部模型參數(shù),這種方法只需更新不到 1% 的參數(shù)。眾所周知,大模型的訓(xùn)練成本很高,但其實(shí)對(duì)預(yù)訓(xùn)練后的模型進(jìn)行微調(diào)也...
閱讀原文

嫌Python慢,這個(gè)AI分析器幫你檢測(cè)、建議優(yōu)化,獲OSDI最佳論文

機(jī)器之心報(bào)道編輯:大盤雞未來(lái)速度的提升將更多地來(lái)自更快、更高效的編程,而不是更好的硬件。近幾年,有一種編程語(yǔ)言無(wú)處不在,它的大名無(wú)人不曉,網(wǎng)絡(luò)上甚...
閱讀原文
1456