標簽:狀態
新架構Mamba更新二代!作者:別爭了,數學上Transformer和SSM是一回事
夢晨 發自 凹非寺量子位 | 公眾號 QbitAITransformer挑戰者、新架構Mamba,剛剛更新了第二代: Mamba-2,狀態空間擴大8倍,訓練速度提高50%! 更重要的是,團...
能原理:生命、意識與智能的統一原理 | 追問觀察
來源:集智俱樂部 作者:牟牧云 審校:張江 封面:Myriam Wares 自由能原理被認為是“自達爾文自然選擇理論后最包羅萬象的思想”,從第一性原理出發解釋智能體...
2D頭像生成3D虛擬人開視頻會,谷歌新作讓人難繃
機器之心報道 編輯:澤南、亞鸝未來人與人的交流,難道是這個樣?開視頻遠程會議的時候,很多人都不喜歡打開攝像頭。即使開了,在界面上大家也都被框在不同的...
今日arXiv最熱NLP大模型論文:清華大學提出IFT對齊算法,打破SFT與RLHF局限性
夕小瑤科技說 原創作者 | 謝年年 監督微調(Supervised Fine-Tuning, SFT)和基于人類反饋的強化學習(Reinforcement Learning from Human Feedback, RLHF)...
今日arXiv最熱大模型論文:Agent也瘋狂!FoA方法對智能體做樹結構搜索,超越ToT
夕小瑤科技說 原創作者 | 謝年年大模型agents包攬了從理解問題、規劃任務、記憶輸入輸出、精準調用工具,執行任務解決問題的全過程,更厲害的是,它們還有自...
今日arXiv最熱NLP大模型論文:微軟發布可視思維鏈VoT,提高大模型空間想象力
夕小瑤科技說 原創作者 | 芒果 引言:思維可視化技術的探索此項研究提出了一種名為思維可視化(VoT)的技術,旨在通過可視化大型語言模型(LLMs)的推理過程來增...
DenseMamba:大模型的DenseNet時刻,Mamba和RetNet精度顯著提升
機器之心專欄 機器之心編輯部近期,來自華為諾亞方舟實驗室的研究者提出了 DenseSSM,用于增強 SSM 中各層間隱藏信息的流動。通過將淺層隱藏狀態有選擇地整合...
AI也來打摜蛋,難道人工智能也能當領導?
夕小瑤科技說 原創作者 | 松果、Python引言:探索AI在復雜卡牌游戲中的決策能力在人工智能(AI)的研究領域中,游戲被視為現實世界的簡化模型,常常是研究的...
LeCun怒斥Sora是世界模型,自回歸LLM太簡化了
機器之心報道 編輯:陳萍LeCun 對「世界模型」給出了最新定義。最近幾天,Sora 成為了全世界關注的焦點。與之相關的一切,都被放大到極致。 Sora 如此出圈,...
長文綜述:大腦中的熵、能、對稱性和動力學|新春特輯
導語我們的大腦在一定程度上是貝葉斯推理系統,生成內部模型對外部世界作出預測,然后將預測與感官輸入不斷地進行對比,形成預測誤差并更新內部模型。2022年...
大模型訓練loss突刺原因和解決辦法
直播預告 | 今晚7點,「自動駕駛新青年講座」第35講正式開講,LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive:大語言模型加持的閉環端到端自動...
有生計算,AGI之路,徹底改變具身、主動智能和認知研究的長期未來
來源:CreateAMind 摘要(3萬字長文) 這篇綜述激發并綜合了神經科學啟發的人工智能和仿生計算在人類計算方面的研究成果。具體來說,我們從感知行為的理論基礎...
Transformer竟是無限狀態RNN?
夕小瑤科技說 原創作者 | 付奶茶、python近期,Transformer再度成為學術界的熱門話題! Meta的一項最新研究帶來了一個新的發現:在某些情況下,'Transformer...
性能大漲20%!中科大「狀態序列頻域預測」方法:表征學習樣本效率max|NeurIPS 2023 Spotlight
新智元報道編輯:LRS 好困 【新智元導讀】SPF算法是一種基于狀態序列頻域預測的表征學習方法,利用狀態序列的頻域分布來顯式提取狀態序列數據中的趨勢性和規...
粵公網安備 44011502001135號