合合信息研發(fā)總監(jiān)常揚(yáng)：大模型RAG技術(shù)架構(gòu)與應(yīng)用實(shí)踐 | 公開課預(yù)告

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：合合信息研發(fā)總監(jiān)常揚(yáng)：大模型RAG技術(shù)架構(gòu)與應(yīng)用實(shí)踐 | 公開課預(yù)告
關(guān)鍵字：模型,技術(shù),架構(gòu),智能,信息
文章來源：智猩猩AGI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

隨著大語言模型的興起，其在處理自然語言任務(wù)上展現(xiàn)出了強(qiáng)大的能力，但也逐漸暴露出一些問題。大語言模型雖然能夠生成連貫且富有邏輯的文本，但在某些情況下可能會(huì)出現(xiàn)“幻覺”，即生成不準(zhǔn)確或無根據(jù)的內(nèi)容。而且，大語言模型對(duì)于最新的、特定領(lǐng)域的專業(yè)知識(shí)的掌握可能存在滯后性。
目前主要有兩種途徑解決以上問題：一是微調(diào)，二是RAG。微調(diào)雖能使模型“學(xué)會(huì)”私域知識(shí)，但是，模型微調(diào)工作復(fù)雜，從數(shù)據(jù)準(zhǔn)備、算力資源、微調(diào)效果到訓(xùn)練時(shí)間，都面臨諸多挑戰(zhàn)，用新數(shù)據(jù)隨時(shí)微調(diào)不切實(shí)際，每月能更新一次已屬理想狀況。RAG 則為生成式模型與外部世界互動(dòng)提供了頗具前景的解決辦法。
RAG的全稱是Retrieval-Augmented Generation，中文翻譯為檢索增強(qiáng)生成，是一個(gè)為大模型提供外部知識(shí)源的概念。通過RAG，可以使大語言模型生成準(zhǔn)確且符合上下文的答案，同時(shí)能夠減少“幻覺”。
RAG的主要功能類似于搜索引擎，能夠找出與用戶提問最相關(guān)的知識(shí)或?qū)υ挌v史，并結(jié)合原始提問創(chuàng)建內(nèi)容豐富的 prompt，引導(dǎo)模型生成準(zhǔn)確的輸出。RAG還可分為5個(gè)基本流程：知識(shí)文檔的準(zhǔn)備、嵌入模型（embedding model）、向量

原文鏈接：合合信息研發(fā)總監(jiān)常揚(yáng)：大模型RAG技術(shù)架構(gòu)與應(yīng)用實(shí)踐 | 公開課預(yù)告