智源：70萬預算從頭開發千億參數大模型，挑戰成功

AIGC動態歡迎閱讀

原標題：智源：70萬預算從頭開發千億參數大模型，挑戰成功

關鍵字：模型,參數,策略,團隊,運算量

文章來源：量子位

內容字數：3359字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAI預算10萬美元（約73萬人民幣），從頭訓練一個全新的千億參數大模型。智源研究院與國內多所高校及南洋理工聯合團隊，挑戰成功。要知道，當GPT-3的訓練成本可是高達460萬美元，近一些的Llama2據估算也大概是這個數。這個用10萬美元訓練出的大模型名叫FLM，擁有1010億參數量，目前已經開源。得益于研究團隊的新型訓練策略，FLM只用了2.17%的…

原文鏈接：點此閱讀原文：智源：70萬預算從頭開發千億參數大模型，挑戰成功

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破