標簽:架構

獨家|非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

訓練出千億模型依然是 RWKV 當下最能證明自己的事情。作者丨張 進 編輯丨陳彩嫻 AI科技評論獨家獲悉,開源LLM RWKV背后的元始智能,種子輪融資已于1月16日走...
閱讀原文

對標OpenAI GPT-4,MiniMax 國內首個 MoE 大語言模型全量上線

作者|冬梅 1 月 16 日,InfoQ 獲悉,經過了半個月的部分客戶的內測和反饋,MiniMax 全量發布大語言模型 abab6,該模型為國內首個 MoE(Mixture-of-Experts)...
閱讀原文

HTAP 在快遞行業助力時效分析的落地實踐

本文節選自《基礎軟件之路 - 企業級實踐及開源之路》一書,該書集結了中國幾乎所有主流基礎軟件企業的實踐案例,由 28 位知名專家共同編寫,系統剖析了基礎軟...
閱讀原文

大模型套殼祛魅:質疑套殼,理解套殼|甲子光年

套殼不是核心競爭力,把殼做厚才是。作者|趙健 剛剛過去的 2023 年是大模型元年,在國產大模型數量狂飆突進的同時——已經超過 200 個,“套殼”一直是縈繞在大...
閱讀原文

「喚醒」NPC,這家融資過億的國內創企在做一種很新的游戲

機器之心報道 編輯:張倩、陳萍每次進入游戲,NPC 都說著不一樣的臺詞,這將是一個怎樣的世界?在眾多游戲類型中,開放世界游戲是非常受歡迎的一種,因為它允...
閱讀原文

華為改進Transformer架構!盤古-π解決特征缺陷問題,同規模性能超LLaMA

明敏 發自 凹非寺量子位 | 公眾號 QbitAI華為盤古系列,帶來架構層面上新! 量子位獲悉,華為諾亞方舟實驗室等聯合推出新型大語言模型架構:盤古-π。 它通過...
閱讀原文

你沒有看過的全新版本,Transformer數學原理揭秘

機器之心報道 編輯:趙陽近日,arxiv 上發布了一篇論文,對 Transformer 的數學原理進行全新解讀,內容很長,知識很多,十二分建議閱讀原文。2017 年,Vaswan...
閱讀原文

挑戰Transformer,華為諾亞新架構盤古π來了,已有1B、7B模型

機器之心專欄 機器之心編輯部5 年前,Transformer 在國際神經信息處理大會 NeurIPS 2017 發表,后續其作為核心網絡架構被廣泛用于自然語言處理和計算機視覺等...
閱讀原文

誰能撼動Transformer統治地位?Mamba作者談LLM未來架構

機器之心編譯 機器之心編輯部自 2017 年被提出以來,Transformer 已成為 AI 大模型的主流架構,未來這種情況是一直持續,還是會有新的研究出現,我們不妨先聽...
閱讀原文

大模型被偷家!騰訊港中文新研究修正認知:CNN搞多模態不弱于Transfromer

騰訊&港中文團隊 投稿量子位 | 公眾號 QbitAI在Transformer占據多模態工具半壁江山的時代,大核CNN又“殺了回來”,成為了一匹新的黑馬。 騰訊AI實驗室與港...
閱讀原文

讓大模型操縱無人機,北航團隊提出具身智能新架構

趙浩然 投稿量子位 | 公眾號 QbitAI進入多模態時代,大模型也會操縱無人機了!只要視覺模塊捕捉到啟動條件,大模型這個“大腦”就會生成動作指令,接著無人機便...
閱讀原文

戴瓊海院士:開源后在 AlpacaEval 直追 GPT4,零一靠技術如何重建生態信心

來源:AI科技大本營斯坦福大學研發的大語言模型評測 AlpacaEval Leaderboard 備受業內認可,在 2023 年 12 月 7 日 更新的排行榜中,Yi-34B-Chat 以 94.08% ...
閱讀原文

?丟掉注意力的擴散模型:Mamba帶火的SSM被蘋果、康奈爾盯上了

機器之心報道機器之心編輯部替代注意力機制,SSM 真的大有可為?為了用更少的算力讓擴散模型生成高分辨率圖像,注意力機制可以不要,這是康奈爾大學和蘋果的...
閱讀原文

進入蘋果最神秘的芯片實驗室,回顧蘋果歷代CPU構架,展現3萬億公司成長之路

新智元報道編輯:alan 潤【新智元導讀】蘋果創造了資本主義歷史上最成功的產品,成為第一家市值達到1萬億美元的企業。讓我們一起探究蘋果最神秘的芯片研發部...
閱讀原文

上云還是下云:章文嵩博士解讀真正的云原生 Kafka 十倍降本方案!

作者|章文嵩、周新宇 策劃 | Tina近日,AutoMQ 團隊發布了基于云的開源云原生 Kafka——AutoMQ for Kafka,所有的代碼采用 Apache 2.0 開源許可。AutoMQ 充分...
閱讀原文