鵬程·盤(pán)古α大模型

鵬程·盤(pán)古α是業(yè)界首個(gè)2000億參數(shù)以中文為核心的預(yù)訓(xùn)練生成語(yǔ)言模型，目前開(kāi)源了兩個(gè)版本：鵬程·盤(pán)古α和鵬程·盤(pán)古α增強(qiáng)版，并支持NPU和GPU兩個(gè)版本，支持豐富的場(chǎng)景應(yīng)用。

[模型在線推理體驗(yàn)網(wǎng)址]

項(xiàng)目簡(jiǎn)介

鵬程·盤(pán)古α是業(yè)界首個(gè)2000億參數(shù)以中文為核心的預(yù)訓(xùn)練生成語(yǔ)言模型，目前開(kāi)源了兩個(gè)版本：鵬程·盤(pán)古α和鵬程·盤(pán)古α增強(qiáng)版，并支持NPU和GPU兩個(gè)版本，支持豐富的場(chǎng)景應(yīng)用，在知識(shí)問(wèn)答、知識(shí)檢索、知識(shí)推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出，具備較強(qiáng)的少樣本學(xué)習(xí)的能力。

基于盤(pán)古系列大模型提供大模型應(yīng)用落地技術(shù)幫助用戶高效的落地超大預(yù)訓(xùn)練模型到實(shí)際場(chǎng)景。整個(gè)框架特點(diǎn)如下：

主要有如下幾個(gè)核心模塊：

• 數(shù)據(jù)集：從開(kāi)源開(kāi)放數(shù)據(jù)集、common crawl數(shù)據(jù)集、電子書(shū)等收集近80TB原始語(yǔ)料，構(gòu)建了約1.1TB的高質(zhì)量中文語(yǔ)料數(shù)據(jù)集、53種語(yǔ)種高質(zhì)量單、雙語(yǔ)數(shù)據(jù)集2TB。
• 基礎(chǔ)模塊：提供預(yù)訓(xùn)練模型庫(kù)，支持常用的中文預(yù)訓(xùn)練模型，包括鵬程·盤(pán)古α、鵬程·盤(pán)古α增強(qiáng)版等。
• 應(yīng)用層：支持常見(jiàn)的NLP應(yīng)用比如多語(yǔ)言翻譯、開(kāi)放域?qū)υ挼龋С诸A(yù)訓(xùn)練模型落地工具，包括模型壓縮、框架移植、可持續(xù)學(xué)習(xí)，助力大模型快速落地。

交流社區(qū)