RAG還是微調(diào)？微軟出了一份特定領(lǐng)域大模型應(yīng)用建設(shè)流程指南

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：RAG還是微調(diào)？微軟出了一份特定領(lǐng)域大模型應(yīng)用建設(shè)流程指南
關(guān)鍵字：模型,報(bào)告,問(wèn)題,本文,答案
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：11807字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：rome檢索增強(qiáng)生成（RAG）和微調(diào)（Fine-tuning）是提升大語(yǔ)言模型性能的兩種常用方法，那么到底哪種方法更好？在建設(shè)特定領(lǐng)域的應(yīng)用時(shí)哪種更高效？微軟的這篇論文供你選擇時(shí)進(jìn)行參考。在構(gòu)建大語(yǔ)言模型應(yīng)用程序時(shí)通常有兩種常見(jiàn)的方法來(lái)整合專有和特定領(lǐng)域的數(shù)據(jù)：檢索增強(qiáng)生成和微調(diào)。檢索增強(qiáng)生成通過(guò)外部數(shù)據(jù)增強(qiáng)提示，而微調(diào)將額外的知識(shí)整合到模型本身中。不過(guò)，對(duì)這兩種方法的優(yōu)缺點(diǎn)了解的卻不夠充分。
本文中，來(lái)自微軟的研究者引入一個(gè)新的關(guān)注點(diǎn)：為需要特定背景和自適應(yīng)響應(yīng)的行業(yè)（農(nóng)業(yè)）創(chuàng)建 AI 助手。本文提出了一個(gè)全面的大語(yǔ)言模型流程，用于生成高質(zhì)量的、行業(yè)特定的問(wèn)題和答案。該方法包含一個(gè)系統(tǒng)化的過(guò)程，包括鑒別和收集涵蓋廣泛農(nóng)業(yè)主題的相關(guān)文檔。接著清理和結(jié)構(gòu)化這些文檔，以便使用基本的 GPT 模型生成有意義的問(wèn)答對(duì)。生成的問(wèn)答對(duì)隨后根據(jù)其質(zhì)量進(jìn)行評(píng)估和篩選。
本文的目標(biāo)是為特定行業(yè)創(chuàng)建有價(jià)值的知識(shí)資源，以農(nóng)業(yè)為案例研究，最終的目標(biāo)是能為 LLM 在農(nóng)業(yè)領(lǐng)域的發(fā)展做出貢獻(xiàn)。論文地址：https://arxiv.org/pdf/2401.08406.pdf
論文標(biāo)題：RAG

原文鏈接：RAG還是微調(diào)？微軟出了一份特定領(lǐng)域大模型應(yīng)用建設(shè)流程指南

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)