開源大模型又強(qiáng)了一大截。

原標(biāo)題：超越Claude 3.5緊追o1！DeepSeek-V3-Base開源，編程能力暴增近31％
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：2466字

DeepSeek-V3-Base：開源MoE模型強(qiáng)勢來襲

近日，DeepSeek AI公司開源了其最新的混合專家(MoE)語言模型DeepSeek-V3-Base，參數(shù)量達(dá)685B，引發(fā)了AI社區(qū)的廣泛關(guān)注。該模型采用256個專家，sigmoid路由方式，每次選擇前8個專家進(jìn)行計(jì)算，展現(xiàn)出極高的稀疏性，從而在性能和效率上取得平衡。

1. 模型架構(gòu)與性能

DeepSeek-V3-Base基于MoE架構(gòu)，擁有巨大的參數(shù)量和顯著的稀疏性。Aider多語言編程測評結(jié)果顯示，其性能僅次于OpenAI o1-2024-12-17 (high)，超越了Claude-3.5-sonnet-20241022、Gemini-Exp-1206等多個競品模型，以及DeepSeek公司前代模型DeepSeek Chat V2.5。與V2.5相比，V3的編程性能提升了近31%，達(dá)到48.4%。此外，疑似流出的LiveBench基準(zhǔn)測試結(jié)果也顯示，DeepSeek-V3在整體性能、推理、編程、數(shù)學(xué)、數(shù)據(jù)分析等多個方面都具有很強(qiáng)的競爭力，超越了Gemini-2.0-flash-exp和Claude 3.5 Sonnet等模型。

2. 與前代模型的差異

DeepSeek V3與V2版本的主要區(qū)別在于模型規(guī)模和激活函數(shù)。V3是V2的“放大版”，其詞匯量、隱藏層大小、中間層大小、隱藏層數(shù)量、注意力頭數(shù)量以及最大位置嵌入均顯著增加。此外，V3采用了sigmoid函數(shù)作為模型評分函數(shù)，而V2則使用了softmax函數(shù)。

3. 社區(qū)反饋與展望

許多網(wǎng)友認(rèn)為DeepSeek-V3-Base是Claude的強(qiáng)勁對手，甚至可以替代Claude 3.5。開源模型的快速發(fā)展也令許多人感嘆，其進(jìn)步速度驚人，并預(yù)測2025年將成為AI領(lǐng)域具有里程碑意義的一年。DeepSeek-V3-Base的開源，為研究者和開發(fā)者提供了寶貴的資源，也推動了開源大模型的發(fā)展。

4. 總結(jié)

DeepSeek-V3-Base的出現(xiàn)，標(biāo)志著開源MoE模型在性能上取得了顯著突破。其強(qiáng)大的性能和開源屬性，將對大模型領(lǐng)域產(chǎn)生深遠(yuǎn)的影響，并促進(jìn)AI技術(shù)的進(jìn)一步發(fā)展和應(yīng)用。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺