AIGC寫作平臺AI自然語言處理模型
乾元BigBangTransformer
BBT-2-12B-Text基于中文700億tokens進行預訓練,經過指令微調的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預訓練。
標簽:AIGC寫作平臺 AI自然語言處理模型AI自然語言處理模型BigBang Transformer[乾元]是基于GPT Decoder-only架構的大規模預訓練模型。繼2022年開源BBT-1-0.2B模型之后,我們正式開源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。預訓練語料庫覆蓋14個高質量數據源,覆蓋書籍、百科、論文、小說、新聞、政策文件、中文博客、社交媒體等多個數據源種類。BBT-2-12B-Text基于中文700億tokens進行預訓練,經過指令微調的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預訓練。
模型開源后所有開發者可以:
1. 可以直接調用大模型進行對話
2. 在我們訓練的基礎上使用語料庫繼續訓練
3. 對大模型進行微調訓練以滿足各種下游任務
數據統計
數據評估
關于乾元BigBangTransformer特別聲明
本站OpenI提供的乾元BigBangTransformer都來源于網絡,不保證外部鏈接的準確性和完整性,同時,對于該外部鏈接的指向,不由OpenI實際控制,在2023年 5月 31日 下午5:40收錄時,該網頁上的內容,都屬于合規合法,后期網頁的內容如出現違規,可以直接聯系網站管理員進行刪除,OpenI不承擔任何責任。
相關導航
暫無評論...