標簽：注意力

選自interconnects 作者：Nathan Lambert 機器之心編譯 機器之心編輯部狀態(tài)空間模型正在興起，注意力是否已到盡頭？最近幾周，AI 社區(qū)有一個熱門話題：用無注...

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI傳說中GPT-4的“致勝法寶”——MoE（混合專家）架構(gòu)，自己也能手搓了！ Hugging Face上有一位機器學習大神，分享了如何...

機器之心報道 編輯：杜偉、小舟去年，在加速大語言模型推理層面，我們迎來了一個比推測解碼更高效的解決方案 —— 普林斯頓、UIUC 等機構(gòu)提出的 Medusa。如今，...

直播預告 | 下周一晚7點，「自動駕駛新青年講座」第35講正式開講，LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive：大語言模型加持的閉環(huán)端到端...

機器之心專欄 機器之心編輯部Lightning Attention-2 是一種新型的線性注意力機制，讓長序列的訓練和推理成本與 1K 序列長度的一致。 大語言模型序列長度的限...

機器之心報道 機器之心編輯部以后，就算是跑著拍視頻，F(xiàn)MA-Net也能給你處理得非常滿意。 Magnific 圖像超分 & 增強工具還正在火熱體驗中，它強大的圖像升...

新智元報道編輯：好困 桃子 【新智元導讀】大模型推理再次躍升一個新臺階！最近，全新開源的國產(chǎn)SwiftInfer方案，不僅能讓LLM處理無限流式輸入，而且還將推理...

機器之心發(fā)布 機器之心編輯部在大型語言模型（LLM）的世界中，處理多輪對話一直是一個挑戰(zhàn)。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能夠在...

明敏 發(fā)自 凹非寺量子位 | 公眾號 QbitAI22倍加速還不夠，再來提升46%，而且方法直接開源！ 這就是開源社區(qū)改進MIT爆火項目StreamingLLM的最新成果。 Streami...

新智元報道編輯：LRS 【新智元導讀】Hyena處理長序列輸入比FlashAttention速度高100倍！最新發(fā)布的StripedHyena模型可能成下一代AI架構(gòu)的新標準？最近幾年發(fā)...

機器之心報道 編輯：Panda W1+1＞2。Transformer 很厲害，但并不完美，尤其是在處理長序列方面。而狀態(tài)空間模型（SSM）則在長序列上的表現(xiàn)相當不俗。早在去年...

機器之心編譯 機器之心編輯部自 2017 年被提出以來，Transformer 已成為 AI 大模型的主流架構(gòu)，未來這種情況是一直持續(xù)，還是會有新的研究出現(xiàn)，我們不妨先聽...

機器之心專欄 作者：韓東辰來自清華大學的研究者提出了一種新的注意力范式——代理注意力 (Agent Attention)。近年來，視覺 Transformer 模型得到了極大的發(fā)展...

機器之心報道 機器之心編輯部Meta的視頻合成新框架又給了我們一點小小的震撼。就今天的人工智能發(fā)展水平來說，文生圖、圖生視頻、圖像/視頻風格遷移都已經(jīng)不...

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、python最近，隨著大型語言模型（LLM）在人機交互、多模態(tài)任務和語言應用等領域的廣泛應用，研究者們紛紛致力于提升這...