蘋果大模型MM1殺入場：300億參數、多模態、MoE架構，超半數作者是華人

AIGC動態歡迎閱讀

原標題：蘋果大模型MM1殺入場：300億參數、多模態、MoE架構，超半數作者是華人
關鍵字：數據,圖像,模型,研究者,樣本
文章來源：機器之心
內容字數：8519字

內容摘要：

機器之心報道
機器之心編輯部蘋果也在搞自己的大型多模態基礎模型，未來會不會基于該模型推出相應的文生圖產品呢？我們拭目以待。
今年以來，蘋果顯然已經加大了對生成式人工智能（GenAI）的重視和投入。此前在 2024 蘋果股東大會上，蘋果 CEO 蒂姆?庫克表示，今年將在 GenAI 領域實現重大進展。此外，蘋果宣布放棄 10 年之久的造車項目之后，一部分造車團隊成員也開始轉向 GenAI。
如此種種，蘋果向外界傳達了加注 GenAI 的決心。目前多模態領域的 GenAI 技術和產品非常火爆，尤以 OpenAI 的 Sora 為代表，蘋果當然也想要在該領域有所建樹。
今日，在一篇由多位作者署名的論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中，蘋果正式公布自家的多模態大模型研究成果 —— 這是一個具有高達 30B 參數的多模態 LLM 系列。論文地址：https://arxiv.org/pdf/2403.09611.pdf
該團隊在論文中探討了不同架構組件和數據選擇的重要性。并且，通過對圖像編碼器

原文鏈接：蘋果大模型MM1殺入場：300億參數、多模態、MoE架構，超半數作者是華人

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺