小模型卷起來了：Mistral聯(lián)合英偉達開源12B小模型，128k上下文

AIGC動態(tài)歡迎閱讀

原標題：小模型卷起來了：Mistral聯(lián)合英偉達開源12B小模型，128k上下文
關(guān)鍵字：模型,分詞,上下文,指令,高效
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
機器之心編輯部小模型，正在成為 AI 巨頭的新戰(zhàn)場。今天凌晨，OpenAI 突然發(fā)布了 GPT-4o 的迷你版本 ——GPT-4o mini。這個模型替代了原來的 GPT-3.5，作為免費模型在 ChatGPT 上提供。其 API 價格也非常美麗，每百萬輸入 token 僅為 15 美分，每百萬輸出 token 60 美分， 比之前的 SOTA 模型便宜一個數(shù)量級，比 OpenAI 此前最便宜的 GPT-3.5 Turbo 還要便宜 60% 以上。
OpenAI CEO 山姆?奧特曼對此的形容是：通往智能的成本已經(jīng)「too cheap to meter」。與動輒上千億參數(shù)的大模型相比，小模型的優(yōu)勢是顯而易見的：它們不僅計算成本更低，訓(xùn)練和部署也更為便捷，可以滿足計算資源受限、數(shù)據(jù)安全級別較高的各類場景。因此，在大筆投入大模型訓(xùn)練之余，像 OpenAI、谷歌等科技巨頭也在積極訓(xùn)練好用的小模型。
其實，比 OpenAI 官宣 GPT-4o mini 早幾個小時，被譽為「歐洲版 OpenAI」的 Mistral AI 也官宣了一個小模型 ——Mistral NeMo。這個小模型

原文鏈接：小模型卷起來了：Mistral聯(lián)合英偉達開源12B小模型，128k上下文

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：