AIGC動態(tài)歡迎閱讀

原標(biāo)題：大語言模型何時需要檢索？UCLA提出全新自監(jiān)督選擇性檢索策略
關(guān)鍵字：模型,報告,政策,選擇性,工作
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

來源：PaperWeekly
作者：吳迪
單位：UCLA
研究方向：自然語言處理前言最近一年開始做知識增強(qiáng)語言模型的方向。暑假去到了 AWS AI 的 CodeWhisperer 組實(shí)習(xí)，在 repository-level code completion 這個任務(wù)上進(jìn)行了一些相關(guān)研究，有了一些發(fā)現(xiàn)，也投中了一篇 ICML Oral，便把感悟?qū)懗纱宋模Ｍ蠹叶嗯u指正。背景2.1 檢索增強(qiáng)語言模型（Retrieval Augmented Language Models, RALMs）一般來說，只要語言模型在推理階段使用了外部知識，就可以被叫作檢索增強(qiáng)語言模型。
https://acl2023-retrieval-lm.github.io/slides/3-architecture.pdf
上圖截取自 ACL 2023 的 tutorial[1]，我認(rèn)為可以大致代表 NLP 社區(qū)對 RALM 最普遍的認(rèn)識。可以看到這里的外部知識大多都是非結(jié)構(gòu)化的知識，比如實(shí)體或者大段的文本。然而把知識提供給模型的方式和粒度是多種多樣的，比如 kNN-LM[2]是在最終預(yù)測的 token 層面上把模型和

原文鏈接：大語言模型何時需要檢索？UCLA提出全新自監(jiān)督選擇性檢索策略

聯(lián)系作者

文章來源：人工智能學(xué)家
作者微信：AItists
作者簡介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)