標(biāo)簽：注意力

15 年功臣、英偉達(dá)首席科學(xué)家在股價(jià)巔峰期黯然辭職：手握大筆財(cái)富，但我為我的工作感到遺憾

編譯 | 核子可樂(lè)、Tina 很多朋友可能沒(méi)聽(tīng)說(shuō)過(guò) Jacopo Pantaleoni 的名字，但或多或少應(yīng)該見(jiàn)證過(guò)他的工作成果。Pantaleoni 的專長(zhǎng)是將數(shù)據(jù)轉(zhuǎn)換為圖像，作為首...
閱讀原文

MotionClone：無(wú)需訓(xùn)練，一鍵克隆視頻

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

Mamba一作再祭神作，H100利用率飆至75%！FlashAttention三代性能翻倍，比標(biāo)準(zhǔn)注意力快16倍

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】時(shí)隔一年，F(xiàn)lashAttention又推出了第三代更新，專門(mén)針對(duì)H100 GPU的新特性進(jìn)行優(yōu)化，在之前的基礎(chǔ)上又實(shí)現(xiàn)了1.5～2倍的...
閱讀原文

英偉達(dá)又賺到了！FlashAttention3來(lái)了：H100利用率飆升至75%

機(jī)器之心報(bào)道 編輯：陳陳、小舟740 TFLOPS！迄今最強(qiáng) FlashAttention 來(lái)了。隨著大型語(yǔ)言模型（LLM）加速落地，擴(kuò)展模型上下文窗口變得越來(lái)越重要。然而，Tra...
閱讀原文

鄂維南院士領(lǐng)銜新作：大模型不止有RAG、參數(shù)存儲(chǔ)，還有第3種記憶

機(jī)器之心報(bào)道 編輯：陳陳2.4B 的 Memory3比更大的 LLM 和 RAG 模型獲得了更好的性能。近年來(lái)，大型語(yǔ)言模型 (LLM) 因其非凡的性能而獲得了前所未有的關(guān)注。然...
閱讀原文

單卡A100實(shí)現(xiàn)百萬(wàn)token推理，速度快10倍，這是微軟官方的大模型推理加速

機(jī)器之心報(bào)道 編輯：張倩、陳萍微軟的這項(xiàng)研究讓開(kāi)發(fā)者可以在單卡機(jī)器上以 10 倍的速度處理超過(guò) 1M 的輸入文本。大型語(yǔ)言模型 (LLM) 已進(jìn)入長(zhǎng)上下文處理時(shí)代...
閱讀原文

上交&阿里：掀開(kāi)多模態(tài)大模型的頭蓋骨，解密黑盒模型推理過(guò)程

夕小瑤科技說(shuō) 原創(chuàng)作者 | 謝年年多模態(tài)大模型的發(fā)展勢(shì)頭正猛，研究者們熱衷于通過(guò)微調(diào)模型，打造出具有更高輸入分辨率、更復(fù)雜功能、更強(qiáng)感知能力以及更精細(xì)...
閱讀原文

拆分Transformer注意力，韓國(guó)團(tuán)隊(duì)讓大模型解碼提速20倍

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只要將注意力切塊，就能讓大模型解碼提速20倍。 來(lái)自韓國(guó)科學(xué)技術(shù)研究院、LG和DeepMind的研究人員，提出了一種新的...
閱讀原文

AI首次實(shí)時(shí)生成視頻！尤洋團(tuán)隊(duì)新作，網(wǎng)友：這是新紀(jì)元

一水 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI尤洋團(tuán)隊(duì)新作，首個(gè)基于DiT的實(shí)時(shí)視頻生成方法來(lái)了！ 先來(lái)直觀感受一下效果（右側(cè)為新方法）： 這是團(tuán)隊(duì)在Open-Sora...
閱讀原文

谷歌「誠(chéng)意之作」，開(kāi)源9B、27B版Gemma2，主打高效、經(jīng)濟(jì)！

機(jī)器之心報(bào)道 機(jī)器之心編輯部性能翻倍的Gemma 2， 讓同量級(jí)的Llama3怎么玩？??AI賽道上，科技巨頭們激烈角逐。前腳有GPT-4o問(wèn)世，后腳就出現(xiàn)了Claude 3.5 Son...
閱讀原文

單張A100全精度推理！谷歌明星開(kāi)源模型Gemma 2上新9B/27B，挑戰(zhàn)3140億Grok-1

新智元報(bào)道編輯：耳朵 【新智元導(dǎo)讀】昨晚，谷歌正式開(kāi)源了自家最強(qiáng)的開(kāi)源模型Gemma 2，直指為全球范圍研究開(kāi)發(fā)者提供實(shí)用部署工具。就在昨晚，谷歌的明星開(kāi)...
閱讀原文

史上首個(gè)實(shí)時(shí)AI視頻生成技術(shù)：DiT通用，速度提升10.6倍

機(jī)器之心報(bào)道 機(jī)器之心編輯部DiT 都能用，生成視頻無(wú)質(zhì)量損失，也不需要訓(xùn)練。實(shí)時(shí) AI 視頻生成來(lái)了！ 本周三，新加坡國(guó)立大學(xué)尤洋團(tuán)隊(duì)提出了業(yè)內(nèi)第一種可以...
閱讀原文

最火AI角色扮演流量已達(dá)谷歌搜索20%！每秒處理2萬(wàn)推理請(qǐng)求，Transformer作者公開(kāi)優(yōu)化秘訣

夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI什么AI應(yīng)用每秒處理20000個(gè)AI推理請(qǐng)求，達(dá)到2024年谷歌搜索流量的1/5？ 答案是獨(dú)角獸Character.ai，由Transformer作...
閱讀原文

今日arXiv最熱大模型論文：清華大學(xué)：一個(gè)簡(jiǎn)單縮放讓大模型利用長(zhǎng)上下文能力提升15.2%

夕小瑤科技說(shuō) 原創(chuàng)作者 | 謝年年 不知道大家發(fā)現(xiàn)沒(méi)有，一些大模型的提示技巧總是習(xí)慣將一些重要指令或信息放在提示的開(kāi)頭或者結(jié)尾。 這是因?yàn)長(zhǎng)LMs在處理上下...
閱讀原文

AI研究的主要推動(dòng)力會(huì)是什么？ChatGPT團(tuán)隊(duì)研究科學(xué)家：算力成本下降

機(jī)器之心報(bào)道 編輯：PandaAI 研究發(fā)展的主要推動(dòng)力是什么？在最近的一次演講中，OpenAI 研究科學(xué)家 Hyung Won Chung 給出了自己的答案。 近日，斯坦福大學(xué)《C...
閱讀原文
12345…8