AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：首個(gè)全面開源的千億模型來了！源2.0全家桶擊破算力限制，代碼數(shù)學(xué)強(qiáng)到發(fā)指

關(guān)鍵字：模型,數(shù)據(jù),參數(shù),卷積,浪潮

文章來源：新智元

內(nèi)容字?jǐn)?shù)：14409字

內(nèi)容摘要：新智元報(bào)道編輯：編輯部【新智元導(dǎo)讀】昨天，浪潮信息發(fā)布源2.0基礎(chǔ)大模型，并一口氣開源了1026億、518億、21億三個(gè)大模型！而在編程、推理、邏輯這些老大難問題上，源2.0都表現(xiàn)出了令人印象深刻的性能。國(guó)內(nèi)首個(gè)全面開源的千億模型，來了！就在昨天，浪潮信息正式發(fā)布源2.0，無論是2B、51B，還是102B，統(tǒng)統(tǒng)都開源。這一次，源2.0不僅在數(shù)理邏輯、數(shù)學(xué)計(jì)算、代碼生成能力上，再次超強(qiáng)進(jìn)化。而且，還在算法、數(shù)據(jù)、算力方面，提出了三項(xiàng)創(chuàng)新。開源地址：https://github.com/IEIT-Yuan/Yuan-2.0算法方面，源2.0提出并采用了一種新型的注意力算法結(jié)構(gòu)LFA（局部注意力過濾增強(qiáng)機(jī)制，Localized Filtering-based Attention），對(duì)于自然語言的關(guān)聯(lián)語義理解更準(zhǔn)確。數(shù)據(jù)方面，源2.0使用中英文書籍、百科、論文等高質(zhì)量中英文資料，降低了互聯(lián)網(wǎng)語料內(nèi)…

原文鏈接：點(diǎn)此閱讀原文：首個(gè)全面開源的千億模型來了！源2.0全家桶擊破算力限制，代碼數(shù)學(xué)強(qiáng)到發(fā)指

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。