微軟發(fā)布 Orca 2 LLM，表現(xiàn)優(yōu)于 10 倍參數(shù)模型

AIGC動態(tài)歡迎閱讀

原標(biāo)題：微軟發(fā)布 Orca 2 LLM，表現(xiàn)優(yōu)于 10 倍參數(shù)模型
關(guān)鍵字：解讀,模型,提示,老師,基準(zhǔn)
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：2887字

內(nèi)容摘要：

作者 | Anthony Alford 譯者 | 明知山 策劃 | 丁曉昀
微軟發(fā)布 Orca 2 LLM，這是 Llama 2 的一個調(diào)優(yōu)版本，性能與包含 10 倍參數(shù)的模型相當(dāng)，甚至更好。Orca 2 使用了一個合成訓(xùn)練數(shù)據(jù)集和一項(xiàng)稱為 Prompt Erasure（提示詞擦除） 的新技術(shù)來實(shí)現(xiàn)這一性能。
Orca 2 使用了師生模式的訓(xùn)練方案，其中一個較大、較強(qiáng)的 LLM 作為另一個較小的 LLM（學(xué)生）的老師，老師的目標(biāo)是提升學(xué)生的性能，使其與更大模型的性能相媲美。微軟的訓(xùn)練技術(shù)教會較小的模型多種推理技巧，并教其如何為特定任務(wù)選擇最有效的技巧。為此，老師被賦予了復(fù)雜的提示詞來觸發(fā)某種推理行為。不過，在一種被稱為 Prompt Erasure 的方案中，學(xué)生只得到任務(wù)要求和期望的響應(yīng)，而不是老師的提示詞。在基準(zhǔn)測試中，一個擁有 13B 參數(shù)的 Orca 2 模型的表現(xiàn)超過了一個 13B 參數(shù)的基準(zhǔn) Llama 2 模型，提升了 47.54%。而一個擁有 7B 參數(shù)的 Orca 2 模型在推理任務(wù)方面與一個擁有 70B 參數(shù)的 Llama 2 模型相當(dāng)，甚至更好。
盡管像 Cha

原文鏈接：微軟發(fā)布 Orca 2 LLM，表現(xiàn)優(yōu)于 10 倍參數(shù)模型

聯(lián)系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供AI領(lǐng)域技術(shù)資訊、一線業(yè)界實(shí)踐案例、搜羅整理業(yè)界技術(shù)分享干貨、AI論文解讀。每周一節(jié)技術(shù)分享公開課，助力你全面擁抱人工智能技術(shù)。