Memory Layers – Meta 開源不增加算力時(shí)增加大模型的參數(shù)方法

Memory Layers是Meta推出的一種創(chuàng)新技術(shù)，旨在通過可訓(xùn)練的鍵值查找機(jī)制為模型增加額外的參數(shù)，而無需增加浮點(diǎn)運(yùn)算次數(shù)（FLOPs）。這種基于稀疏激活的機(jī)制能夠有效補(bǔ)充計(jì)算密集型的前饋層，以低成本存儲(chǔ)和檢索信息。Memory Layers在大規(guī)模語言模型中表現(xiàn)出卓越的實(shí)用性，尤其是在處理事實(shí)性任務(wù)時(shí)，顯著提升了模型的性能。

Memory Layers是什么

Memory Layers是Meta研發(fā)的技術(shù)，采用可訓(xùn)練的鍵值查找機(jī)制來為模型擴(kuò)展額外的參數(shù)，同時(shí)不增加計(jì)算負(fù)擔(dān)（即不增加FLOPs）。這種技術(shù)通過稀疏激活機(jī)制補(bǔ)充計(jì)算密集的前饋層，提供了一種經(jīng)濟(jì)的方式來存儲(chǔ)和檢索信息。Memory Layers在大型語言模型中表現(xiàn)出顯著的優(yōu)勢(shì)，尤其在涉及事實(shí)性任務(wù)時(shí)，能夠有效提升模型的準(zhǔn)確性和知識(shí)獲取能力。

Memory Layers的主要功能

• 參數(shù)擴(kuò)展：允許在不增加計(jì)算負(fù)擔(dān)的前提下擴(kuò)充模型參數(shù)，提高模型的容量。
• 信息存儲(chǔ)與檢索：提供一種專門的機(jī)制來存儲(chǔ)和檢索信息。
• 補(bǔ)充密集層：與計(jì)算密集型前饋層相輔相成，基于稀疏激活模式提供專用的信息存儲(chǔ)和檢索能力。
• 提高事實(shí)準(zhǔn)確性：在事實(shí)性任務(wù)中，顯著提升語言模型的準(zhǔn)確性，使模型更有效地記憶和運(yùn)用訓(xùn)練數(shù)據(jù)中的事實(shí)。
• 性能提升：在計(jì)算和參數(shù)配置相匹配的情況下，使模型的性能超過傳統(tǒng)的密集模型和混合專家模型。

Memory Layers的技術(shù)原理

• 鍵值查找機(jī)制：基于簡(jiǎn)單的鍵值查找機(jī)制運(yùn)作，鍵和值都被編碼為嵌入向量。給定查詢向量q和一組鍵K及值V，輸出是根據(jù)q與相應(yīng)鍵的相似度計(jì)算得出的值的軟組合。
• 稀疏激活：與傳統(tǒng)注意力機(jī)制不同，Memory Layers中使用的鍵和值是可訓(xùn)練的參數(shù)，而非激活值。由于鍵和值的數(shù)量通常較多，Memory Layers通過稀疏查找和更新機(jī)制，只有與查詢最相似的top-k鍵及其對(duì)應(yīng)值參與輸出計(jì)算。
• 產(chǎn)品鍵查找：為了解決大規(guī)模記憶中查詢-鍵檢索的瓶頸，Memory Layers采用產(chǎn)品量化鍵（product-quantized keys），用兩組較小的鍵有效進(jìn)行全鍵集的top-k查找。
• 并行化實(shí)現(xiàn)：Memory Layers對(duì)內(nèi)存的需求較大，在多個(gè)GPU上并行化嵌入查找和聚合，支持大規(guī)模擴(kuò)展。
• 共享記憶參數(shù)：通過共享的記憶參數(shù)池，基于多個(gè)記憶層提升性能，而不增加參數(shù)數(shù)量。

Memory Layers的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://ai.meta.com/research/publications/memory-layers-at-scale/
• GitHub倉(cāng)庫(kù)：https://github.com/facebookresearch/memory
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.09764

Memory Layers的應(yīng)用場(chǎng)景

• 問答系統(tǒng)：在問答系統(tǒng)中，幫助模型記住和檢索大量事實(shí)信息，提供準(zhǔn)確的回答。
• 語言模型：在自然語言處理領(lǐng)域，增強(qiáng)語言模型的記憶能力，使其在處理長(zhǎng)文本和復(fù)雜對(duì)話時(shí)更加高效。
• 推薦系統(tǒng)：在推薦系統(tǒng)中存儲(chǔ)用戶的歷史行為及偏好，以提供更個(gè)性化的推薦。
• 知識(shí)圖譜：在知識(shí)圖譜的應(yīng)用中，存儲(chǔ)和檢索實(shí)體之間的關(guān)系，支持復(fù)雜的查詢和推理。
• 對(duì)話系統(tǒng)：在對(duì)話系統(tǒng)中，幫助模型記住對(duì)話歷史，使對(duì)話更加連貫和自然。