詳解！大語言模型中的檢索增強(qiáng)生成RAG技術(shù)

AIGC動態(tài)歡迎閱讀

原標(biāo)題：詳解！大語言模型中的檢索增強(qiáng)生成RAG技術(shù)
關(guān)鍵字：上下文,向量,索引,答案,模型
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：20781字

內(nèi)容摘要：

直播預(yù)告 | 1月17日晚7點(diǎn)，「多模態(tài)大模型線上閉門會」正式開講！阿里巴巴通義實(shí)驗(yàn)室 NLP 高級算法專家嚴(yán)明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學(xué)者，共同探討多模態(tài)大模型的發(fā)展與應(yīng)用，歡迎報名。本文轉(zhuǎn)載自公眾號：深度學(xué)習(xí)自然語言處理，原作者：IVAN ILIN。01引言檢索增強(qiáng)生成（Retrieval Augmented Generation，簡稱RAG）為大型語言模型（LLMs）提供了從某些數(shù)據(jù)源檢索到的信息，以此作為生成答案的基礎(chǔ)。簡而言之，RAG是搜索+LLM提示的結(jié)合，即在有搜索算法找到的信息作為上下文的情況下，讓模型回答提出的查詢。查詢和檢索到的上下文都被注入到發(fā)送給LLM的提示中。
目前，RAG是基于LLM系統(tǒng)中最受歡迎的架構(gòu)。許多產(chǎn)品幾乎完全基于RAG構(gòu)建，包括將網(wǎng)絡(luò)搜索引擎與LLMs相結(jié)合的問答服務(wù)，以及數(shù)百種與數(shù)據(jù)的應(yīng)用程序。
即使是向量搜索領(lǐng)域也因這種熱潮而興起，盡管基于嵌入的搜索引擎自2019年就已使用faiss開發(fā)。像chroma、weavaite.io和pinecone這樣的向量數(shù)據(jù)庫初創(chuàng)公司建立在現(xiàn)有的開源搜索索引之上–主要是faiss和nm

原文鏈接：詳解！大語言模型中的檢索增強(qiáng)生成RAG技術(shù)

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機(jī)視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。