AIGC動態歡迎閱讀
原標題:微軟發布 Orca 2 LLM,表現優于 10 倍參數模型
關鍵字:解讀,模型,提示,老師,基準
文章來源:AI前線
內容字數:2887字
內容摘要:
作者 | Anthony Alford 譯者 | 明知山 策劃 | 丁曉昀
微軟發布 Orca 2 LLM,這是 Llama 2 的一個調優版本,性能與包含 10 倍參數的模型相當,甚至更好。Orca 2 使用了一個合成訓練數據集和一項稱為 Prompt Erasure(提示詞擦除) 的新技術來實現這一性能。
Orca 2 使用了師生模式的訓練方案,其中一個較大、較強的 LLM 作為另一個較小的 LLM(學生)的老師,老師的目標是提升學生的性能,使其與更大模型的性能相媲美。微軟的訓練技術教會較小的模型多種推理技巧,并教其如何為特定任務選擇最有效的技巧。為此,老師被賦予了復雜的提示詞來觸發某種推理行為。不過,在一種被稱為 Prompt Erasure 的方案中,學生只得到任務要求和期望的響應,而不是老師的提示詞。在基準測試中,一個擁有 13B 參數的 Orca 2 模型的表現超過了一個 13B 參數的基準 Llama 2 模型,提升了 47.54%。而一個擁有 7B 參數的 Orca 2 模型在推理任務方面與一個擁有 70B 參數的 Llama 2 模型相當,甚至更好。
盡管像 Cha
原文鏈接:微軟發布 Orca 2 LLM,表現優于 10 倍參數模型
聯系作者
文章來源:AI前線
作者微信:ai-front
作者簡介:面向AI愛好者、開發者和科學家,提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課,助力你全面擁抱人工智能技術。
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...