標簽:狀態
Mamba可以替代Transformer,但它們也能組合起來使用
機器之心報道 編輯:Panda W1+1>2。Transformer 很厲害,但并不完美,尤其是在處理長序列方面。而狀態空間模型(SSM)則在長序列上的表現相當不俗。早在去年...
一個框架整合大腦理論 8 具身智能的未來 有生計算
來源:CreateAMind ?? ??摘要(3萬字長文) 這篇綜述激發并綜合了神經科學啟發的人工智能和仿生計算在人類計算方面的研究成果。具體來說,我們從感知行為的理論...
誰能撼動Transformer統治地位?Mamba作者談LLM未來架構
機器之心編譯 機器之心編輯部自 2017 年被提出以來,Transformer 已成為 AI 大模型的主流架構,未來這種情況是一直持續,還是會有新的研究出現,我們不妨先聽...
挑戰Transformer的Mamba是什么來頭?作者博士論文理清SSM進化路徑
機器之心報道 編輯:張倩對 SSM 感興趣的研究者不妨讀一下這篇博士論文。 在大模型領域,Transformer 憑一己之力撐起了整個江山。但隨著模型規模的擴展和需要...
逝者如斯夫,不舍晝夜,你,真的懂時間嗎?
來源:中科院物理所作?者:Areeba Merriam翻譯:小聰審校:利有攸往原文鏈接:The True Nature of Time???????????????????????時間是自然界的一大謎團,人們...
Transformer挑戰者出現!斯坦福CMU聯合團隊,開源模型及代碼,公司已創辦
夢晨 發自 凹非寺量子位 | 公眾號 QbitAI現在ChatGPT等大模型一大痛點:處理長文本算力消耗巨大,背后原因是Transformer架構中注意力機制的二次復雜度。Flash...
OpenAI神秘Q*項目解密!誕生30+年「Q學習」算法引全球網友終極猜想
新智元報道編輯:桃子【新智元導讀】OpenAI神秘Q*項目剛被曝出一天,就已經引發了各種猜想。一時間,「Q-learning」成為許多人的關注焦點。剛剛過去的一天,O...
圖靈和馮·諾依曼的遺產:生命計算機的架構
來源:返樸撰文:Hashim M. Al-Hashimi翻譯:汪顯意審校:小木球編輯:梁金在通用圖靈機的基礎上,數學家馮·諾依曼進一步發明了自復制機器,回答了生物學中最...
一個小妙招從Prompt菜鳥秒變專家!加州大學提出PromptAgent,幫你高效使用ChatGPT!
夕小瑤科技說 原創作者 | 謝年年、王二狗有了ChatGPT、GPT4之后,我們的工作學習效率得到大大提升(特別在湊字數方面?(???????)?)。作為一個工具,有人覺得...
超越強化學習:生命啟發的AI
來源:CreateAMind受生命啟發的內感受性人工智能 (萬字長文)摘要構建自主的(即基于個人需求選擇目標)和自適應的(即在不斷變化的環境中生存)智能 體一直...
逃離「內耗」的年輕人,跑進了 lululemon
追求快樂也接納脆弱和恐懼你在20-30歲對自己有疼痛感,這是特別正常的。簡里里在今年的 lululemon 「一起好狀態」主題活動分享上說道。她認為,這個時期其實...
TradeMaster最新發布沙盒工具箱,探索量化交易的全新維度
TradeMaster 是由新加坡南洋理工大學開發的一款基于強化學習的開源量化交易平臺。為了更全面地評價和提升算法性能,我們推出了沙盒工具箱,同時搭配了易于使...
功能超全的AI Agents開源庫來了,能寫小說,還能當導購、銷售
機器之心專欄機器之心編輯部來自波形智能、蘇黎世聯邦理工和浙江大學的算法團隊和研究者發布了名為 Agents 的開源框架。近一年來,隨著大模型突飛猛進的發展...
LLaMA微調顯存需求減半,清華提出4比特優化器
機器之心專欄作者:李炳睿大模型的訓練和微調對顯存要求很高,優化器狀態是顯存主要開銷之一。近日,清華大學朱軍、陳鍵飛團隊提出了用于神經網絡訓練的 4 比...