標簽:狀態(tài)

新架構(gòu)Mamba更新二代!作者:別爭了,數(shù)學上Transformer和SSM是一回事

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAITransformer挑戰(zhàn)者、新架構(gòu)Mamba,剛剛更新了第二代: Mamba-2,狀態(tài)空間擴大8倍,訓練速度提高50%! 更重要的是,團...
閱讀原文

能原理:生命、意識與智能的統(tǒng)一原理 | 追問觀察

來源:集智俱樂部 作者:牟牧云 審校:張江 封面:Myriam Wares 自由能原理被認為是“自達爾文自然選擇理論后最包羅萬象的思想”,從第一性原理出發(fā)解釋智能體...
閱讀原文

2D頭像生成3D虛擬人開視頻會,谷歌新作讓人難繃

機器之心報道 編輯:澤南、亞鸝未來人與人的交流,難道是這個樣?開視頻遠程會議的時候,很多人都不喜歡打開攝像頭。即使開了,在界面上大家也都被框在不同的...
閱讀原文

今日arXiv最熱NLP大模型論文:清華大學提出IFT對齊算法,打破SFT與RLHF局限性

夕小瑤科技說 原創(chuàng)作者 | 謝年年 監(jiān)督微調(diào)(Supervised Fine-Tuning, SFT)和基于人類反饋的強化學習(Reinforcement Learning from Human Feedback, RLHF)...
閱讀原文

今日arXiv最熱大模型論文:Agent也瘋狂!FoA方法對智能體做樹結(jié)構(gòu)搜索,超越ToT

夕小瑤科技說 原創(chuàng)作者 | 謝年年大模型agents包攬了從理解問題、規(guī)劃任務、記憶輸入輸出、精準調(diào)用工具,執(zhí)行任務解決問題的全過程,更厲害的是,它們還有自...
閱讀原文

今日arXiv最熱NLP大模型論文:微軟發(fā)布可視思維鏈VoT,提高大模型空間想象力

夕小瑤科技說 原創(chuàng)作者 | 芒果 引言:思維可視化技術(shù)的探索此項研究提出了一種名為思維可視化(VoT)的技術(shù),旨在通過可視化大型語言模型(LLMs)的推理過程來增...
閱讀原文

DenseMamba:大模型的DenseNet時刻,Mamba和RetNet精度顯著提升

機器之心專欄 機器之心編輯部近期,來自華為諾亞方舟實驗室的研究者提出了 DenseSSM,用于增強 SSM 中各層間隱藏信息的流動。通過將淺層隱藏狀態(tài)有選擇地整合...
閱讀原文

AI也來打摜蛋,難道人工智能也能當領(lǐng)導?

夕小瑤科技說 原創(chuàng)作者 | 松果、Python引言:探索AI在復雜卡牌游戲中的決策能力在人工智能(AI)的研究領(lǐng)域中,游戲被視為現(xiàn)實世界的簡化模型,常常是研究的...
閱讀原文

LeCun怒斥Sora是世界模型,自回歸LLM太簡化了

機器之心報道 編輯:陳萍LeCun 對「世界模型」給出了最新定義。最近幾天,Sora 成為了全世界關(guān)注的焦點。與之相關(guān)的一切,都被放大到極致。 Sora 如此出圈,...
閱讀原文

長文綜述:大腦中的熵、能、對稱性和動力學|新春特輯

導語我們的大腦在一定程度上是貝葉斯推理系統(tǒng),生成內(nèi)部模型對外部世界作出預測,然后將預測與感官輸入不斷地進行對比,形成預測誤差并更新內(nèi)部模型。2022年...
閱讀原文

具身智能的未來

來源:CreateAMind 摘要(3萬字長文) 這篇綜述激發(fā)并綜合了神經(jīng)科學啟發(fā)的人工智能和仿生計算在人類計算方面的研究成果。具體來說,我們從感知行為的理論基礎...
閱讀原文

大模型訓練loss突刺原因和解決辦法

直播預告 | 今晚7點,「自動駕駛新青年講座」第35講正式開講,LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive:大語言模型加持的閉環(huán)端到端自動...
閱讀原文

有生計算,AGI之路,徹底改變具身、主動智能和認知研究的長期未來

來源:CreateAMind 摘要(3萬字長文) 這篇綜述激發(fā)并綜合了神經(jīng)科學啟發(fā)的人工智能和仿生計算在人類計算方面的研究成果。具體來說,我們從感知行為的理論基礎...
閱讀原文

Transformer竟是無限狀態(tài)RNN?

夕小瑤科技說 原創(chuàng)作者 | 付奶茶、python近期,Transformer再度成為學術(shù)界的熱門話題! Meta的一項最新研究帶來了一個新的發(fā)現(xiàn):在某些情況下,'Transformer...
閱讀原文

性能大漲20%!中科大「狀態(tài)序列頻域預測」方法:表征學習樣本效率max|NeurIPS 2023 Spotlight

新智元報道編輯:LRS 好困 【新智元導讀】SPF算法是一種基于狀態(tài)序列頻域預測的表征學習方法,利用狀態(tài)序列的頻域分布來顯式提取狀態(tài)序列數(shù)據(jù)中的趨勢性和規(guī)...
閱讀原文
1234