加速知識檢索：伯克利&DeepMind聯(lián)合研究，RaLMSpec讓語言模型服務飛速提升2-7倍！

AIGC動態(tài)歡迎閱讀

原標題：加速知識檢索：伯克利&DeepMind聯(lián)合研究，RaLMSpec讓語言模型服務飛速提升2-7倍！
關鍵字：解讀,步長,模型,步驟,緩存
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：8590字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、賣萌醬近年來，隨著大型語言模型（LLM）的出現(xiàn)，在多樣化的 NLP 任務上取得了令人矚目的成果。然而，知識密集型任務仍是 NLP 領域中的一項挑戰(zhàn)，因為這些任務不僅要求模型要理解和生成自然語言，還要能夠訪問和利用大量的外部知識。然而，要想將大量知識編碼進一個完全參數(shù)化的模型中，不僅在訓練上需要更多努力，在部署時也同樣如此。特別是當基礎模型需要適應新數(shù)據(jù)或不同的下游任務時，這一挑戰(zhàn)會更加嚴峻。
為了應對這一挑戰(zhàn)，最近的研究提出了檢索增強型語言模型（RaLM），通過增強檢索將參數(shù)化的語言模型與非參數(shù)化的知識庫結合起來，這種方法在低成本適應最新數(shù)據(jù)和更好的源歸因機制方面表現(xiàn)出色。在各種 RaLM 方法中，由于在檢索器和語言模型之間更頻繁的交互，迭代 RaLM 提供了更好的生成質量。然而，迭代 RaLM 也會因為頻繁的檢索步驟而遇到高昂開銷。
▲圖1 (a)迭代式 RaLM 的工作流程 (b)RaLMSpec 框架 (c)RaLMSpec 在保持模型質量的同時實現(xiàn)了較低的延遲由此，本文提出了一種名為 RaLMSpec 的框架，它采用了推測性檢索和批量驗

原文鏈接：加速知識檢索：伯克利&DeepMind聯(lián)合研究，RaLMSpec讓語言模型服務飛速提升2-7倍！

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機構投資人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。