AIGC動態歡迎閱讀

原標題：對標OpenAI GPT-4，MiniMax 國內首個 MoE 大語言模型全量上線
關鍵字：模型,解讀,小米,騰訊,架構
文章來源：AI前線
內容字數：4369字

內容摘要：

作者｜冬梅
1 月 16 日，InfoQ 獲悉，經過了半個月的部分客戶的內測和反饋，MiniMax 全量發布大語言模型 abab6，該模型為國內首個 MoE（Mixture-of-Experts）大語言模型。早在上個月舉辦的數字中國論壇成立大會暨數字化發展論壇的一場分論壇上，MiniMax 副總裁魏偉就曾透露將于近期發布國內首個基于 MoE 架構的大模型，對標 OpenAI GPT-4。在 MoE 結構下，abab6 擁有大參數帶來的處理復雜任務的能力，同時模型在單位時間內能夠訓練足夠多的數據，計算效率也可以得到大幅提升。改進了 abab5.5 在處理更復雜、對模型輸出有更精細要求場景現的問題。為什么選擇 MoE 架構？那么，MoE 到底是什么？MiniMax 的大模型為何要使用使用 MoE 架構？
MoE 架構全稱專家混合（Mixture-of-Experts），是一種集成方法，其中整個問題被分為多個子任務，并將針對每個子任務訓練一組專家。MoE 模型將覆蓋不同學習者（專家）的不同輸入數據。
圖片來源：https ://arxiv.org/pdf/1701.06538.pdf
有

原文鏈接：對標OpenAI GPT-4，MiniMax 國內首個 MoE 大語言模型全量上線

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課，助力你全面擁抱人工智能技術。