消費級顯卡可用！李開復零一萬物發布并開源90億參數Yi模型，代碼數學能力史上最強

AIGC動態歡迎閱讀

原標題：消費級顯卡可用！李開復零一萬物發布并開源90億參數Yi模型，代碼數學能力史上最強
關鍵字：騰訊,模型,性能,萬物,數據
文章來源：量子位
內容字數：4607字

內容摘要：

豐色 發自 凹非寺量子位 | 公眾號 QbitAI李開復旗下AI公司零一萬物，又一位大模型選手登場：
90億參數Yi-9B。
它號稱Yi系列中的“理科狀元”，“惡補”了代碼數學，同時綜合能力也沒落下。
在一系列類似規模的開源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表現最佳。
老規矩，發布即開源，尤其對開發者友好：
Yi-9B（BF 16） 和其量化版 Yi-9B（Int8）都能在消費級顯卡上部署。
一塊RTX 4090、一塊RTX 3090就可以。
深度擴增+多階段增量訓練而成零一萬物的Yi家族此前已經發布了Yi-6B和Yi-34B系列。
這兩者都是在3.1T token中英文數據上進行的預訓練，Yi-9B則在此基礎上，增加了0.8T token繼續訓練而成。
數據的截止日期是2023年6月。
開頭提到，Yi-9B最大的進步在于數學和代碼，那么這倆能力究竟如何提升呢？
零一萬物介紹：
單靠增加數據量并沒法達到預期。
靠的是先增加模型大小，在Yi-6B的基礎上增至9B，再進行多階段數據增量訓練

原文鏈接：消費級顯卡可用！李開復零一萬物發布并開源90億參數Yi模型，代碼數學能力史上最強

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破