微軟教小模型推理進(jìn)階版：Orca 2性能媲美10倍參數(shù)模型，已開(kāi)源

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：微軟教小模型推理進(jìn)階版：Orca 2性能媲美10倍參數(shù)模型，已開(kāi)源

關(guān)鍵字：模型,研究者,任務(wù),能力,策略

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：7673字

內(nèi)容摘要：機(jī)器之心報(bào)道機(jī)器之心編輯部站在巨人的肩膀上會(huì)讓你看的更遠(yuǎn)，而通過(guò)讓大規(guī)模語(yǔ)言模型來(lái)「教」較小規(guī)模的語(yǔ)言模型進(jìn)行推理，也會(huì)是事半功倍的效果。如你我所見(jiàn)，像 GPT-4、PaLM 等前沿語(yǔ)言模型已經(jīng)展現(xiàn)了出色的推理能力，例如回答復(fù)雜問(wèn)題、生成解釋?zhuān)踔两鉀Q需要多步推理的問(wèn)題，這些能力曾被認(rèn)為是 AI 無(wú)法達(dá)到的。這樣的能力在較小的語(yǔ)言模型中并不明顯，因此現(xiàn)在的挑戰(zhàn)就是如何利用對(duì)大型語(yǔ)言模型不斷增長(zhǎng)的知識(shí)，進(jìn)而提升較小模型的能力。之前微軟研究院推出了 Orca，它是擁有 130 億參數(shù)的語(yǔ)言模型，通過(guò)模仿更強(qiáng)大 LLM 的逐步推理過(guò)程，展現(xiàn)了強(qiáng)大的推理能力。現(xiàn)在研究者再接再厲推出了 Orca 2，繼續(xù)探索如何通過(guò)改進(jìn)訓(xùn)練信號(hào)來(lái)提升較小語(yǔ)言模型的推理能力。論文地址：https://arxiv.org/pdf/2311.11045.pdfHugging Face 地址 1：https://huggi…

原文鏈接：點(diǎn)此閱讀原文：微軟教小模型推理進(jìn)階版：Orca 2性能媲美10倍參數(shù)模型，已開(kāi)源

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)