AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：32K上下文，Mistral 7B v0.2 基模型突然開源了
關(guān)鍵字：模型,微軟,人工智能,智能,公司
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：3478字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：蛋醬剛剛，Mistral AI 的模型又更新了。
這次開源一如既往地「突然」，是在一個(gè)叫做 Cerebral Valley 的黑客松活動(dòng)上公布的。PPT 一翻頁，全場都舉起了手機(jī)拍照：這次開源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始預(yù)訓(xùn)練模型，后者屬于該公司的「Mistral Tiny」系列。
此次更新主要包括三個(gè)方面：
將 8K 上下文提到了 32K；
Rope Theta = 1e6；
取消滑動(dòng)窗口。下載鏈接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar
更新之后的性能對比是這樣的：場外觀眾迅速跟進(jìn)。有人評價(jià)說：「Mistral 7B 已經(jīng)是同尺寸級別中最好的模型，這次改進(jìn)是一個(gè)巨大的進(jìn)步。 我將盡快在這個(gè)模型上重新訓(xùn)練當(dāng)前的許多微調(diào)。」Mistral AI 的第一個(gè) 7B 模型發(fā)布于 2023 年 9 月，在多個(gè)基準(zhǔn)測試中實(shí)現(xiàn)了優(yōu)于 Llama 2 13B 的好成績，讓 Mistral AI

原文鏈接：32K上下文，Mistral 7B v0.2 基模型突然開源了

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺