乾元BigBangTransformer
BBT-2-12B-Text基于中文700億tokens進行預訓練,經(jīng)過指令微調(diào)的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預訓練。
標簽:AIGC寫作平臺 AI自然語言處理模型AI自然語言處理模型BigBang Transformer[乾元]是基于GPT Decoder-only架構的大規(guī)模預訓練模型。繼2022年開源BBT-1-0.2B模型之后,我們正式開源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。預訓練語料庫覆蓋14個高質(zhì)量數(shù)據(jù)源,覆蓋書籍、百科、論文、小說、新聞、政策文件、中文博客、社交媒體等多個數(shù)據(jù)源種類。BBT-2-12B-Text基于中文700億tokens進行預訓練,經(jīng)過指令微調(diào)的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預訓練。
模型開源后所有開發(fā)者可以:
1. 可以直接調(diào)用大模型進行對話
2. 在我們訓練的基礎上使用語料庫繼續(xù)訓練
3. 對大模型進行微調(diào)訓練以滿足各種下游任務
數(shù)據(jù)評估
本站OpenI提供的乾元BigBangTransformer都來源于網(wǎng)絡,不保證外部鏈接的準確性和完整性,同時,對于該外部鏈接的指向,不由OpenI實際控制,在2023年 5月 31日 下午5:40收錄時,該網(wǎng)頁上的內(nèi)容,都屬于合規(guī)合法,后期網(wǎng)頁的內(nèi)容如出現(xiàn)違規(guī),可以直接聯(lián)系網(wǎng)站管理員進行刪除,OpenI不承擔任何責任。




粵公網(wǎng)安備 44011502001135號