又一千億級(jí)大模型問世，全面開源！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：又一千億級(jí)大模型問世，全面開源！

關(guān)鍵字：模型,數(shù)據(jù),能力,基礎(chǔ),方法

文章來源：夕小瑤科技說

內(nèi)容字?jǐn)?shù)：1995字

內(nèi)容摘要：夕小瑤科技說 分享11月27日，浪潮信息發(fā)布“源2.0”基礎(chǔ)大模型，并宣布全面開源。源2.0基礎(chǔ)大模型包括1026億、518億、21億等三種參數(shù)規(guī)模的模型，在編程、推理、邏輯等方面展示出了先進(jìn)的能力。當(dāng)前，大模型技術(shù)正在推動(dòng)生成式人工智能產(chǎn)業(yè)迅猛發(fā)展，而基礎(chǔ)大模型的關(guān)鍵能力則是大模型在行業(yè)和應(yīng)用落地能力表現(xiàn)的核心支撐，但基礎(chǔ)大模型的發(fā)展也面臨著在算法、數(shù)據(jù)和算力等方面的諸多挑戰(zhàn)。源2.0基礎(chǔ)大模型則針對(duì)性地提出了新的改進(jìn)方法并獲得了能力的提升。算法方面，源2.0提出并采用了一種新型的注意力算法結(jié)構(gòu)：局部注意力過濾增強(qiáng)機(jī)制(LFA：Localized Filtering-based Attention)。LFA通過先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計(jì)算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語言的局部和全局的語言特征，對(duì)于自然語言的關(guān)聯(lián)語義理解更準(zhǔn)確、更人性，提升了模型的自然語言表達(dá)能力，進(jìn)而提…

原文鏈接：點(diǎn)此閱讀原文：又一千億級(jí)大模型問世，全面開源！

聯(lián)系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級(jí)AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。