標簽:內存

Agent技術洞察01:增強大語言模型 Agents 的工作記憶能力

直播預告 | 6月14日上午10點,「智猩猩AI新青年講座」第239講正式開講,莫納什大學在讀博士馬鑫將直播講解《DiT架構在視頻生成模型中的應用與擴展》,歡迎掃...
閱讀原文

手機流暢運行470億大模型:上交大發布LLM手機推理框架PowerInfer-2,提速29倍

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI蘋果一出手,在手機等移動設備上部署大模型不可避免地成為行業關注焦點。 然而,目前在移動設備上運行的模型相對較小...
閱讀原文

這個團隊做了OpenAI沒Open的技術,開源OpenRLHF讓對齊大模型超簡單

機器之心報道 編輯:Panda隨著大型語言模型(LLM)規模不斷增大,其性能也在不斷提升。盡管如此,LLM 依然面臨著一個關鍵難題:與人類的價值和意圖對齊。在解...
閱讀原文

斯坦福讓“GPU高速運轉”的新工具火了,比FlashAttention2更快

西風 發自 凹非寺量子位 | 公眾號 QbitAIAI算力資源越發緊張的當下,斯坦福新研究將GPU運行效率再提升一波—— 內核只有100行代碼,讓H100比使用FlashAttention...
閱讀原文

4倍內存效率,生成和超分雙SOTA!清華&智譜AI發布最新Inf-DiT模型

直播預告 | 5月28日10點,「智猩猩AI新青年講座」第236講正式開講,密歇根大學安娜堡分校在讀博士生張揮杰將直播講解《利用多級框架和多解碼器架構提高擴散模...
閱讀原文

開創性CVM算法40多年計數難題!計算機科學家擲硬幣算出「哈姆雷特」獨特單詞

新智元報道編輯:桃子 【新智元導讀】預估一個數組中不重復數字的個數,最簡便的方法是什么?計算機科學家們提出了一種全新CVM算法,通過利用隨機性,預估出...
閱讀原文

告別3D高斯Splatting算法,帶神經補償的頻譜剪枝高斯場SUNDAE開源了

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術...
閱讀原文

只需百行代碼,讓H100提速30%,斯坦福開源全新AI加速框架

機器之心報道 機器之心編輯部提高 GPU 利用率,就是這么簡單。AI 的快速發展,伴隨而來的是大計算量。這就自然而然的引出了一個問題:如何減少 AI 對計算的需...
閱讀原文

從零開始手搓GPU,照著英偉達CUDA來,只用兩個星期

機器之心報道 編輯:澤南、小舟從學習芯片的基礎知識開始。「我花兩周時間零經驗從頭開始構建 GPU,這可比想象的要難多了?!箍傆腥苏f老黃的芯片供不應求,大...
閱讀原文

壞了,我的RTX 3090 GPU在對我唱歌!

機器之心報道 機器之心編輯部這你敢信?! 在一個昏暗的機箱里,一臺 RTX 3090 GPU「唱」著經典英語兒歌《一閃一閃亮晶晶》(Twinkle,Twinkle,Little Star)...
閱讀原文

原作者帶隊,LSTM真殺回來了!

機器之心報道 編輯:蛋醬LSTM:這次重生,我要奪回 Transformer 拿走的一切。20 世紀 90 年代,長短時記憶(LSTM)方法引入了恒定誤差選擇輪盤和門控的核心思...
閱讀原文

僅用250美元,Hugging Face技術主管手把手教你微調Llama 3

機器之心報道 編輯:趙陽大語言模型的微調一直是說起來容易做起來難的事兒。近日 Hugging Face 技術主管 Philipp Schmid 發表了一篇博客,詳細講解了如何利用...
閱讀原文

老黃親自上門送超算!OpenAI奧特曼簽收后到斯坦福演講GPT-5

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI皮衣老黃親自上門送貨!OpenAI收到世界上第一臺DGX H200超算。???????? 致推進人工智能、計算和人類發展。 這下呼吁...
閱讀原文

索尼 PS5 Pro 或年底發布,開發者已收到適配通知

PS5 PRO 即將發布? 距離索尼發布 PS5 已經過去三年多了,其全球銷量也已經達到了驚人的四千多萬臺。 現在,它的升級款有新消息了。有爆料稱今年 11 月份,會...
閱讀原文

直接擴展到無限長,谷歌Infini-Transformer終結上下文長度之爭

機器之心報道 編輯:小舟、陳萍不知 Gemini 1.5 Pro 是否用到了這項技術。 谷歌又放大招了,發布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...
閱讀原文