標簽:權重

基于華為昇騰推理引擎MindIE部署Qwen-72B實戰

在華為昇騰LLM落地可選解決方案中,我們曾介紹過MindIE,并且前段時間MindIE 1.0.RC1已經發布,本文主要將對其進行實戰演練。 01MindIE 簡介MindIE(Mind Inf...
閱讀原文

Mistral AI兩:7B數學推理專用、Mamba2架構代碼大模型

機器之心報道 機器之心編輯部網友很好奇,Mathstral能不能搞定「9.11和9.9誰大」這一問題。昨天,AI圈竟然被「9.11和9.9誰大」這樣簡單的問題攻陷了,包括Ope...
閱讀原文

CVPR'24:文生圖提示詞自動優化,還發現三個小竅門,人大度小滿等機構出品

PAE團隊 投稿至 凹非寺量子位 | 公眾號 QbitAI文生圖也有自己的prompt優化工具了。 我們都知道,大模型輸出的質量,很大程度上依賴于輸入的prompt。尤其在文...
閱讀原文

ACM最新論文戳破大公司「開源」謊言,GenAI時代到底如何定義「開源模型」

新智元報道編輯:喬楊 【新智元導讀】如何判斷一個AI模型是否屬于開源陣營?開源or閉源,到底哪種系統才更安全?最近,兩位荷蘭學者發表的一篇ACM FAccT論文...
閱讀原文

單鏡頭16秒720p高清視頻一鍵生成,開源版Sora又有新驚喜了

機器之心發布 機器之心編輯部潞晨 Open-Sora 團隊在 720p 高清文生視頻質量和生成時長上實現了突破性進展,支持無縫產出任意風格的高質量短片,令人驚喜的是...
閱讀原文

大模型壓縮量化方案怎么選?無問芯穹Qllm-Eval量化方案全面評估:多模型、多參數、多維度

機器之心發布 作者:李師堯(無問芯穹TechView)基于 Transformer架構的大型語言模型在各種基準測試中展現出優異性能,但數百億、千億乃至萬億量級的參數規模...
閱讀原文

全球首個開源類Sora猛升級,16秒720p畫質電影感拉滿!代碼權重全開源

新智元報道編輯:編輯部 【新智元導讀】搶先OpenAI一步的「國產Sora」,再給開源社區帶來億點點震撼:權重代碼全開源!16秒720p高清畫質一鍵生成,人物渲染逼...
閱讀原文

CVPR 2024 Highlight | 北航等發布「時間特征維護」:無需訓練,極致壓縮加速Diffusion

新智元報道編輯:LRST 好困 【新智元導讀】拯救4bit擴散模型精度,僅需時間特征維護——以超低精度量化技術重塑圖像內容生成!近日,北航、莫納什、UT Austin聯...
閱讀原文

新一輪「硬件彩票」:MatMul-free 會改變大模型的游戲規則嗎?

機器之心PRO · 會員通訊 Week 24---- 本周為您解讀 ③個值得細品的AI & Robotics業內要事 ---- 1. 新一輪「硬件彩票」:MatMul-free 會改變大模型的游戲規...
閱讀原文

手機流暢運行470億大模型:上交大發布LLM手機推理框架PowerInfer-2,提速29倍

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI蘋果一出手,在手機等移動設備上部署大模型不可避免地成為行業關注焦點。 然而,目前在移動設備上運行的模型相對較小...
閱讀原文

大模型國產化適配5-百度飛漿PaddleNLP大語言模型工具鏈總結

近年來,人工智能快速發展,成為全球最為前沿的科技領域;與此同時,也誕生了很多優秀的 AI 工具。比如:國外的 AI 工具 PyTorch 、TensorFlow等,國產 AI 工...
閱讀原文

港大北航等1bit大模型引熱議,IEEE刊物評“解決AI能源需求”!作者親自解讀在此

BiLLM團隊 發自 凹非寺量子位 | 公眾號 QbitAI極限量化,把每個參數占用空間壓縮到1.1bit! IEEE Spectrum專欄,一種名為BiLLM的訓練后量化(PTQ)方法火了。...
閱讀原文

從LLM中完全消除矩陣乘法,效果出奇得好,10億參數跑在FPGA上接近大腦功耗

機器之心報道 機器之心編輯部讓語言模型「輕裝上陣」。一直以來,矩陣乘法(MatMul)穩居神經網絡操作的主導地位,其中很大原因歸結為 GPU 專門針對 MatMul ...
閱讀原文

面對質疑,奧特曼終于公開了OpenAI 前沿大模型安全架構

譯者丨明知山 策劃丨褚杏娟 在 OpenAI 和 Google DeepMind 員工聯名發表公開信,呼吁重視人工智能技術帶來嚴重風險的同一天,OpenAI 官博發布了一篇文章,公...
閱讀原文

量化大模型退化嚴重?ETH北航字節推出LoRA新范式 | ICML 2024

QHT 投稿量子位 | 公眾號 QbitAI大模型應用開卷,連一向保守的蘋果,都已釋放出發展端側大模型的信號。 問題是,大語言模型(LLM)卓越的表現取決于“力大磚飛...
閱讀原文
123458