標(biāo)簽：注意力

WPS接入DeepSeek，秒變辦公神器！

WPS 大家經(jīng)常用來(lái)日常寫(xiě)作，雖然本身提供了AI功能，但可惜需要會(huì)員，本文教你三分鐘接入最火的DeepSeek，讓W(xué)PS秒變辦公神器。 DeepSeek API申請(qǐng)地址：http:/...
閱讀原文

AI賺錢(qián)副業(yè)~AI生成影視解說(shuō)，半個(gè)月漲粉變現(xiàn)3.5W+！

這兩年大家都在感嘆生活不易，然而我想說(shuō)的是，機(jī)會(huì)還是有的，但問(wèn)題不在于有沒(méi)有，而在于你是否能夠認(rèn)準(zhǔn)機(jī)會(huì)，然后抓住它。 接觸過(guò)很多咨詢(xún)項(xiàng)目的人，發(fā)現(xiàn)...

NeurIPS 2024 | 自我糾錯(cuò)如何使OpenAI o1推理能力大大加強(qiáng)？北大、MIT團(tuán)隊(duì)給出理論解釋

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

14天速成LLM高手！大佬開(kāi)源學(xué)習(xí)筆記，GitHub狂攬700星

新智元報(bào)道編輯：LRS 【新智元導(dǎo)讀】一位AI從業(yè)者分享的14天學(xué)習(xí)路線圖，涵蓋大模型從基礎(chǔ)到高級(jí)的主要關(guān)鍵概念！無(wú)論是面試找工作、還是自學(xué)創(chuàng)業(yè)，甚至想要...
閱讀原文

Make U-Nets Great Again！北大&華為提出擴(kuò)散架構(gòu)U-DiT，六分之一算力即可超越DiT

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

無(wú)問(wèn)芯穹提出混合稀疏注意力方案MoA，加速長(zhǎng)文本生成，實(shí)現(xiàn)最高8倍吞吐率提升

機(jī)器之心發(fā)布 機(jī)器之心編輯部隨著大語(yǔ)言模型在長(zhǎng)文本場(chǎng)景下的需求不斷涌現(xiàn)，其核心的注意力機(jī)制（Attention Mechanism）也獲得了非常多的關(guān)注。 注意力機(jī)制會(huì)...
閱讀原文

微軟清華改進(jìn)Transformer：用降噪耳機(jī)原理升級(jí)注意力，一作在線答疑

夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAITransformer自問(wèn)世后就大放異彩，但有個(gè)小毛病一直沒(méi)解決： 總愛(ài)把注意力放在不相關(guān)的內(nèi)容上，也就是信噪比低。 現(xiàn)在...
閱讀原文

意識(shí)理論之注意的伴隨放電（CODAM）模型（一）

來(lái)源：本來(lái)實(shí)驗(yàn)室 概要 CODAM模型，即Corollary Discharge of Attention Movement模型，是由John G. Taylor等人提出的一種神經(jīng)網(wǎng)絡(luò)模型，其目的是解釋意識(shí)體...
閱讀原文

大模型壓縮KV緩存新突破，中科大提出自適應(yīng)預(yù)算分配，工業(yè)界已落地vLLM框架

中科大博士馮源 投稿量子位 | 公眾號(hào) QbitAI改進(jìn)KV緩存壓縮，大模型推理顯存瓶頸迎來(lái)新突破—— 中科大研究團(tuán)隊(duì)提出Ada-KV，通過(guò)自適應(yīng)預(yù)算分配算法來(lái)優(yōu)化KV緩...
閱讀原文

7B新王！Zamba 2完勝同級(jí)模型，推理效率比Llama 3提升20%，內(nèi)存用量更少

新智元報(bào)道編輯：LRS 【新智元導(dǎo)讀】Zamba2-7B是一款小型語(yǔ)言模型，在保持輸出質(zhì)量的同時(shí)，通過(guò)創(chuàng)新架構(gòu)實(shí)現(xiàn)了比同類(lèi)模型更快的推理速度和更低的內(nèi)存占用，在...
閱讀原文

英偉達(dá)nGPT重塑Transformer，AI訓(xùn)練速度暴增20倍！文本越長(zhǎng)，加速越快

新智元報(bào)道編輯：桃子 LRS 【新智元導(dǎo)讀】LLM訓(xùn)練速度還可以再飆升20倍！英偉達(dá)團(tuán)隊(duì)祭出全新架構(gòu)歸一化Transformer（nGPT），上下文越長(zhǎng)，訓(xùn)練速度越快，還能...
閱讀原文

又快又準(zhǔn)，即插即用！清華8比特量化Attention，兩倍加速于FlashAttention2，各端到端任務(wù)均不掉點(diǎn)！

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

Jurgen、曼寧等大佬新作：MoE重塑6年前的Universal Transformer，高效升級(jí)

機(jī)器之心報(bào)道 編輯：杜偉、蛋醬7 年前，谷歌在論文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又發(fā)布了 Unive...
閱讀原文

性能不輸SOTA，計(jì)算量?jī)HDiT一半！T2X任務(wù)新范式來(lái)了 | 中山大學(xué)&360 AI Research

Qihoo-T2X團(tuán)隊(duì) 投稿量子位 | 公眾號(hào) QbitAI性能不輸SOTA模型，計(jì)算開(kāi)銷(xiāo)卻更低了—— 中山大學(xué)和360 AI Research聯(lián)合推出PT-DiT，同參數(shù)規(guī)模下，計(jì)算量?jī)H為DiT的...
閱讀原文

北大林宙辰團(tuán)隊(duì)全新混合序列建模架構(gòu)MixCon：性能遠(yuǎn)超Mamba

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

NeurIPS 2024 | Transformer長(zhǎng)度外推，全新位置編碼DAPE大幅提升模型性能

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

這篇論文非常火！差分Transformer竟能消除注意力噪聲，猶如降噪耳機(jī)

機(jī)器之心報(bào)道 編輯：PandaTransformer 的強(qiáng)大實(shí)力已經(jīng)在諸多大型語(yǔ)言模型（LLM）上得到了證明，但該架構(gòu)遠(yuǎn)非完美，也有很多研究者致力于改進(jìn)這一架構(gòu)，比如機(jī)...
閱讀原文