標簽:高效

商湯科技研究副總監龔睿昊:大語言模型量化和 LightLLM 高性能推理部署系統設計

12月5日上午10點,智猩猩AI教研組推出「大模型微調與推理部署線上閉門會」。閉門會由北京航空航天大學人工智能研究院助理教授郭晉陽參與出品。Monash Univers...
閱讀原文

線上閉門會上新!北航、MIT、莫納什和商湯四位專家直播探討大模型微調與推理部署

今年9月起,智東西公開課品牌全新升級為智猩猩。智猩猩定位硬科技講解與服務平臺,提供公開課、在線研討會、講座、線上閉門會、峰會等線上線下產品。「線上閉...
閱讀原文

用上這個工具包,大模型推理性能加速達40倍

作者:英特爾公司 沈海豪、羅嶼、孟恒宇、董波、林俊編者按:只需不到9行代碼,就能在CPU上實現出色的LLM推理性能。英特爾?Extension for Transformer創新工...
閱讀原文

清華大學劉知遠:大模型LLM領域,有哪些可以作為學術研究方向?

來源:圖靈人工智能作者:劉知遠,清華大學計算機系自然語言處理實驗室副教授2022年初我做過一個報告題目是《大模型十問》,分享我們認為大模型值得探索的十...
閱讀原文

PyTorch大更新,編譯代碼速度暴增35倍!視覺模型一鍵部署,頭顯Quest 3可用

新智元報道編輯:潤 貝果【新智元導讀】最近,在Pytorch發布會上,發布移動端Pytorch解決方案ExecuTorch,實現在移動端設備上大范圍地部署AI工具,并推出最新...
閱讀原文

智源扔出大模型“全家桶”!推最強開源中英雙語LLM,趕超Llama 2

智源推最強開源中英雙語大模型!340億參數超越Llama 2-70B。編輯|luna智東西10月12日報道,今日,智源研究院宣布悟道·天鷹Aquila大語言模型系列全面升級到Aqu...
閱讀原文

生成式AI時代的模型壓縮與加速,韓松主講MIT課程,資料全公開

機器之心報道編輯:蛋醬近年來,生成式大模型(如大語言模型、擴散模型)已顯示出卓越的性能,但它們需要大量的計算資源。為了讓這些模型更易于使用,提高它...
閱讀原文

將混合專家推向極限:只需更新0.32%的參數就能完成模型微調

機器之心報道編輯:Panda W微調無需更新全部模型參數,這種方法只需更新不到 1% 的參數。眾所周知,大模型的訓練成本很高,但其實對預訓練后的模型進行微調也...
閱讀原文

嫌Python慢,這個AI分析器幫你檢測、建議優化,獲OSDI最佳論文

機器之心報道編輯:大盤雞未來速度的提升將更多地來自更快、更高效的編程,而不是更好的硬件。近幾年,有一種編程語言無處不在,它的大名無人不曉,網絡上甚...
閱讀原文
1456