又一千億級大模型問世，全面開源！

AIGC動態(tài)歡迎閱讀

原標(biāo)題：又一千億級大模型問世，全面開源！

關(guān)鍵字：模型,數(shù)據(jù),能力,基礎(chǔ),方法

文章來源：夕小瑤科技說

內(nèi)容字?jǐn)?shù)：1995字

內(nèi)容摘要：夕小瑤科技說 分享11月27日，浪潮信息發(fā)布“源2.0”基礎(chǔ)大模型，并宣布全面開源。源2.0基礎(chǔ)大模型包括1026億、518億、21億等三種參數(shù)規(guī)模的模型，在編程、推理、邏輯等方面展示出了先進的能力。當(dāng)前，大模型技術(shù)正在推動生成式人工智能產(chǎn)業(yè)迅猛發(fā)展，而基礎(chǔ)大模型的關(guān)鍵能力則是大模型在行業(yè)和應(yīng)用落地能力表現(xiàn)的核心支撐，但基礎(chǔ)大模型的發(fā)展也面臨著在算法、數(shù)據(jù)和算力等方面的諸多挑戰(zhàn)。源2.0基礎(chǔ)大模型則針對性地提出了新的改進方法并獲得了能力的提升。算法方面，源2.0提出并采用了一種新型的注意力算法結(jié)構(gòu)：局部注意力過濾增強機制(LFA：Localized Filtering-based Attention)。LFA通過先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語言的局部和全局的語言特征，對于自然語言的關(guān)聯(lián)語義理解更準(zhǔn)確、更人性，提升了模型的自然語言表達能力，進而提…

原文鏈接：點此閱讀原文：又一千億級大模型問世，全面開源！

聯(lián)系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。