AIGC動態(tài)歡迎閱讀

原標題：微軟教小模型推理進階版：Orca 2性能媲美10倍參數(shù)模型，已開源

關(guān)鍵字：模型,研究者,任務,能力,策略

文章來源：機器之心

內(nèi)容字數(shù)：7673字

內(nèi)容摘要：機器之心報道機器之心編輯部站在巨人的肩膀上會讓你看的更遠，而通過讓大規(guī)模語言模型來「教」較小規(guī)模的語言模型進行推理，也會是事半功倍的效果。如你我所見，像 GPT-4、PaLM 等前沿語言模型已經(jīng)展現(xiàn)了出色的推理能力，例如回答復雜問題、生成解釋，甚至解決需要多步推理的問題，這些能力曾被認為是 AI 無法達到的。這樣的能力在較小的語言模型中并不明顯，因此現(xiàn)在的挑戰(zhàn)就是如何利用對大型語言模型不斷增長的知識，進而提升較小模型的能力。之前微軟研究院推出了 Orca，它是擁有 130 億參數(shù)的語言模型，通過模仿更強大 LLM 的逐步推理過程，展現(xiàn)了強大的推理能力。現(xiàn)在研究者再接再厲推出了 Orca 2，繼續(xù)探索如何通過改進訓練信號來提升較小語言模型的推理能力。論文地址：https://arxiv.org/pdf/2311.11045.pdfHugging Face 地址 1：https://huggi…

原文鏈接：點此閱讀原文：微軟教小模型推理進階版：Orca 2性能媲美10倍參數(shù)模型，已開源

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺