10人明星團隊煉出首個微調Llama 3.1 405B！角色扮演一秒入戲，代碼全開源

AIGC動態歡迎閱讀

原標題：10人明星團隊煉出首個微調Llama 3.1 405B！角色扮演一秒入戲，代碼全開源
關鍵字：報告,模型,數據,指令,能力
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】發布40天后，最強開源模型Llama 3.1 405B等來了微調版本的發布。但不是來自Meta，而是一個專注于開放模型的神秘初創Nous Research。Llama 3.1的405B模型終于等來了首個微調版本！
這個模型名為Hermes 3，來自初創公司Nous Research，是一個相當小型且低調的團隊。
雖然公司低調，但技術實力相當強悍。Hermes系列已經微調了Mistral、Yi、Llama等多個開源模型，下載量超過3300萬次。
跟著模型一起發布的，還有完整的技術報告和博客，Lambda Chat也同時在界面中集成了模型。
從技術報告和博客來看，Nous Research的這次微調頗有成效，在使用了FP8量化后還能保持相當水準的模型性能。
這種優化有效地將模型的VRAM和磁盤需求降低了約50%，使其能夠在單個節點上運行，方便更多開發者部署使用。
除此之外，SFT和DPO的微調過程經過了專門設計，讓模型的對話能力和指令遵循能力大大增強，擅長復雜的角色扮演和創意寫作。
除了創造力，Hermes 3還擴展出了函數調用、分步推理等智能體

原文鏈接：10人明星團隊煉出首個微調Llama 3.1 405B！角色扮演一秒入戲，代碼全開源

聯系作者

文章來源：新智元
作者微信：
作者簡介：