標簽:高效

ICLR 2024 Poster:精確且高效的大語言模型低比特量化方法 QLLM|AI新青年講座

「AI新青年講座」由智猩猩出品,致力于邀請青年學者,主講他們在生成式AI、LLM、計算機視覺、機器學習等人工智能領域的最新重要研究成果。 AI新青年是加速人...
閱讀原文

清華系又造大模型標桿!2B規模干翻Mistral-7B,超低成本為AI Agent護航

揭秘最強2B尺寸大模型如何誕生。 作者|ZeR0 編輯|漠影 用最小規模,做最強AI,怎么做到? 智東西2月2日報道,本周四,國內最早從事“大模型+Agent”的創企面壁...
閱讀原文

如何防止模型被?基于TVM的端上模型部署加密方案

大數據文摘受權轉載自云鼎實驗室 2023年在AI的發展史上一定是濃墨重彩的一筆,在這一年里出現了百模大戰、全民“煉丹”的場面,圍繞著各種模型的訓練技術和算力...
閱讀原文

336的分數rebuttal后666,中稿 ICLR!

大部分沒有投稿經驗的科研者在rebuttal時,都不太敢和審稿人正面“剛”,認為rebuttal的作用并不大,甚至無法判斷自己的文章是不是應該繼續rebuttal還是轉投其...
閱讀原文

揭秘AI推理芯片的未來

來源:內容由半導體行業觀察(ID:icbank) 編譯:自design-reuse 人工智能行業包含一個受技術進步、社會需求和監管考慮影響的動態環境。機器學習、自然語言...
閱讀原文

高效部署大模型,CMU 最新萬字綜述縱覽 LLM 推理 MLSys 優化技術

近日,CMU Catalyst 團隊推出了一篇關于高效 LLM 推理的綜述,覆蓋了 300 余篇相關論文,從 MLSys 的研究視角介紹了算法創新和系統優化兩個方面的相關進展。...
閱讀原文

五種資源類別,如何提高大語言模型的資源效率,超詳細綜述來了

機器之心專欄 機器之心編輯部本綜述深入探討了大型語言模型的資源高效化問題。近年來,大型語言模型(LLM)如 OpenAI 的 GPT-3 在人工智能領域取得了顯著進展...
閱讀原文

如何高效部署大模型?CMU最新萬字綜述縱覽LLM推理MLSys優化技術

機器之心專欄 機器之心編輯部近日,CMU Catalyst 團隊推出了一篇關于高效 LLM 推理的綜述,覆蓋了 300 余篇相關論文,從 MLSys 的研究視角介紹了算法創新和系...
閱讀原文

AI 提速自主化機器學習,讓模型訓練更高效

來源:谷歌云服務 作者:Google Cloud機器學習對于自動駕駛領域的發展有著重要作用。其中,無監督學習不需要大量標記的數據集,可以通過統計未標記的矩陣來更...
閱讀原文

千卡規模訓練算力利用率達 60%,螞蟻開源分布式訓練加速擴展庫 ATorch

近日,螞蟻集團宣布開源大模型分布式訓練加速擴展庫ATorch。ATorch可針對不同模型和硬件資源,實現深度學習自動資源動態優化和分布式訓練穩定性提升,可幫助...
閱讀原文

千元成本搞定專業大模型,系統優化+開源大模型是關鍵 | 潞晨卞正達@MEET2024

編輯部 整理自 MEET2024量子位 | 公眾號 QbitAI大模型元年里,哪怕是跑在趨勢最前沿的基座模型廠商,都難逃算力焦慮。 一方面,大模型本身由于技術特性,算力...
閱讀原文

Pascal之父去世!圖靈獎得主、編程語言泰斗Niklaus Wirth享年89歲

新智元報道編輯:Aeneas 好困 【新智元導讀】Euler和Pascal語言發明者、1984年圖靈獎獲得者Niklaus Wirth在24年的第一天離開了我們,許多開發者都為他編程語...
閱讀原文

面向超長上下文,大語言模型如何優化架構,這篇綜述一網打盡了

機器之心報道 編輯:rome rome作者重點關注了基于 Transformer 的 LLM 模型體系結構在從預訓練到推理的所有階段中優化長上下文能力的進展。 ChatGPT 的誕生,...
閱讀原文

從模型、數據和框架三個視角出發,這里有份54頁的高效大語言模型綜述

機器之心專欄 機器之心編輯部大規模語言模型(LLMs)在很多關鍵任務中展現出顯著的能力,比如自然語言理解、語言生成和復雜推理,并對社會產生深遠的影響。然...
閱讀原文

國貨之光,復旦發布大模型訓練效率工具 CoLLiE,效率顯著提升

夕小瑤科技說 原創作者 | 智商掉了一地、python在這個信息爆炸的時代,大型語言模型(LLM)成為理解和挖掘文本信息的重要工具。為了更好地適應各種應用場景,...
閱讀原文
13456