標(biāo)簽:梯度
Karpathy最新四小時視頻教程:從零復(fù)現(xiàn)GPT-2,通宵運(yùn)行即搞定
機(jī)器之心報道 編輯:杜偉這是Karpathy「Neural Networks:zero to hero」系列視頻的最新內(nèi)容。AI 大牛 Andrej Karpathy 又「上新」了,這次一口氣放出了長達(dá)...
ICLR 2024 Oral|用巧妙的「傳送」技巧,讓神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加高效
AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室,有效促進(jìn)了學(xué)術(shù)...
硬核解決Sora的物理bug!美國四所頂尖高校聯(lián)合發(fā)布:給視頻生成器裝個物理引擎
新智元報道編輯:LRS 【新智元導(dǎo)讀】PhysDreamer利用材質(zhì)點(diǎn)法(MPM)對物體的各個物理屬性進(jìn)行估計,實(shí)現(xiàn)了逼真的交互式響應(yīng)結(jié)果,在視頻生成領(lǐng)域向更真實(shí)的...
Pika聯(lián)創(chuàng)參與新研究:Diffusion能搶GPT的活了!成功挑戰(zhàn)自回歸文本范式
豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI縱觀生成式AI領(lǐng)域中的兩個主導(dǎo)者:自回歸和擴(kuò)散模型。 一個專攻文本等離散數(shù)據(jù),一個長于圖像等連續(xù)數(shù)據(jù)。 如果,我...
從啥也不會到DeepSpeed————一篇大模型分布式訓(xùn)練的學(xué)習(xí)過程總結(jié)
智猩猩與智東西將于4月18-19日在北京共同舉辦2024中國生成式AI大會,愛詩科技創(chuàng)始人王長虎,啟明創(chuàng)投合伙人周志峰,Open-Sora開發(fā)團(tuán)隊潞晨科技創(chuàng)始人尤洋,「...
今日arXiv最熱大模型論文:超越LoRA,北京大學(xué)提出預(yù)訓(xùn)練模型非梯度優(yōu)化法
夕小瑤科技說 原創(chuàng)編輯 | 松果 引言:探索大型語言模型中低秩適應(yīng)的新方法在自然語言處理領(lǐng)域,大語言模型(LLMs)的迅猛發(fā)展帶來了前所未有的性能提升。然而...
田淵棟等人新作:突破內(nèi)存瓶頸,讓一塊4090預(yù)訓(xùn)練7B大模型
機(jī)器之心報道 編輯:陳萍、大盤雞只用 24G 顯存,消費(fèi)級 GPU 就能搞定大模型了。 上個月,Meta FAIR 田淵棟參與的一項(xiàng)研究廣受好評,他們在論文《 MobileLLM:...
幾行代碼穩(wěn)定UNet ! 中山大學(xué)等提出ScaleLong擴(kuò)散模型:從質(zhì)疑Scaling到成為Scaling
新智元報道編輯:LRS 好困 【新智元導(dǎo)讀】本文提出了擴(kuò)散模型中UNet的long skip connection的scaling操作可以有助于模型穩(wěn)定訓(xùn)練的分析,目前已被NeurIPS 202...
AI x 機(jī)器人爆發(fā)年!英偉達(dá)Jim Fan領(lǐng)銜登月任務(wù),谷歌DeepMind新技術(shù)曝光
新智元報道編輯:alan 【新智元導(dǎo)讀】AI x 機(jī)器人正逐漸走上時代的風(fēng)口,近日,谷歌DeepMind以及英偉達(dá)兩家AI大廠都在機(jī)器人領(lǐng)域有所動作。AI x 機(jī)器人必然是...
YOLOv9來了:實(shí)時目標(biāo)檢測新SOTA,完勝各種輕量或大型模型!出自v7作者
豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI距離YOLOv8發(fā)布僅1年的時間,v9誕生了! 這個新版本主打用“可編程梯度信息來學(xué)習(xí)你想學(xué)的任何內(nèi)容”。 無論是輕量級還...
目標(biāo)檢測新SOTA:YOLOv9問世,新架構(gòu)讓傳統(tǒng)卷積重?zé)ㄉ鷻C(jī)
機(jī)器之心報道 機(jī)器之心編輯部在目標(biāo)檢測領(lǐng)域,YOLOv9 實(shí)現(xiàn)了一代更比一代強(qiáng),利用新架構(gòu)和方法讓傳統(tǒng)卷積在參數(shù)利用率方面勝過了深度卷積。 繼 2023 年 1 月 ...
ICLR 2024 Oral | 三行代碼,即插即用!NUS尤洋團(tuán)隊新作—InfoBatch,無損數(shù)據(jù)集動態(tài)剪枝加速
大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自將門創(chuàng)投 本文介紹來自NUS尤洋團(tuán)隊的最新科研成果 - InfoBatch。這是首篇關(guān)于無損數(shù)據(jù)剪枝加速的工作,覆蓋分類、分割、檢測、圖片生成...
大模型訓(xùn)練loss突刺原因和解決辦法
直播預(yù)告 | 今晚7點(diǎn),「自動駕駛新青年講座」第35講正式開講,LMDrive一作、香港中文大學(xué)MMLab在讀博士邵昊將主講《LMDrive:大語言模型加持的閉環(huán)端到端自動...
三行代碼無損加速40%,尤洋團(tuán)隊AI訓(xùn)練加速器入選ICLR Oral論文
克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI用剪枝的方式加速AI訓(xùn)練,也能實(shí)現(xiàn)無損操作了,只要三行代碼就能完成! 今年的深度學(xué)習(xí)頂會ICLR上,新加坡國立大學(xué)...
Pika 1.0首測秒殺Gen-2!網(wǎng)友搶先體驗(yàn)電影級炸裂效果,背后技術(shù)細(xì)節(jié)首公開
新智元報道編輯:桃子【新智元導(dǎo)讀】Pika 1.0首測開啟了!網(wǎng)友搶先體驗(yàn),每個視頻都是經(jīng)典。Pika 1.0正式上線后,拿到內(nèi)測資格的網(wǎng)友們已經(jīng)玩瘋了!有人用它...