開(kāi)源大模型超越GPT-3.5!爆火MoE實(shí)測(cè)結(jié)果出爐,網(wǎng)友:OpenAI越來(lái)越?jīng)]護(hù)城河了
![開(kāi)源大模型超越GPT-3.5!爆火MoE實(shí)測(cè)結(jié)果出爐,網(wǎng)友:OpenAI越來(lái)越?jīng)]護(hù)城河了](https://res.www.futurefh.com/2023/12/ahxvljjvgtj.jpg)
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:開(kāi)源大模型超越GPT-3.5!爆火MoE實(shí)測(cè)結(jié)果出爐,網(wǎng)友:OpenAI越來(lái)越?jīng)]護(hù)城河了
關(guān)鍵字:模型,基準(zhǔn),官方,中文,版本
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):5938字
內(nèi)容摘要:克雷西 魚(yú)羊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI一條神秘磁力鏈接引爆整個(gè)AI圈,現(xiàn)在,正式測(cè)評(píng)結(jié)果終于來(lái)了:首個(gè)開(kāi)源MoE大模型Mixtral 8x7B,已經(jīng)達(dá)到甚至超越了Llama 2 70B和GPT-3.5的水平。(對(duì),就是傳聞中GPT-4的同款方案。)并且由于是稀疏模型,處理每個(gè)token僅用了12.9B參數(shù)就做到了這般成績(jī),其推理速度和成本也與12.9B的密集模型相當(dāng)。消息一出,再次在社交媒體上掀起討論熱潮。OpenAI創(chuàng)始成員Andrej Karpathy第一時(shí)間趕到現(xiàn)場(chǎng)整理起了筆記,還高亮出了重點(diǎn):這家“歐版OpenAI”透露出的最強(qiáng)模型,還只是“中杯”。p.s. Mixtral 8×7B甚至只是小杯……英偉達(dá)AI科學(xué)家Jim Fan則贊說(shuō):每個(gè)月都會(huì)有十幾個(gè)新的模型冒出來(lái),但真正能經(jīng)得住檢驗(yàn)的卻寥寥無(wú)幾,能引發(fā)大家伙熱烈關(guān)注的就更少了。并且這波啊,不僅是模型背后公司…
原文鏈接:點(diǎn)此閱讀原文:開(kāi)源大模型超越GPT-3.5!爆火MoE實(shí)測(cè)結(jié)果出爐,網(wǎng)友:OpenAI越來(lái)越?jīng)]護(hù)城河了
聯(lián)系作者
文章來(lái)源:量子位
作者微信:QbitAI
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

粵公網(wǎng)安備 44011502001135號(hào)