Transformer作者初創(chuàng)重磅發(fā)布Transformer2！AI模型活了，動(dòng)態(tài)調(diào)整自己權(quán)重

原標(biāo)題：Transformer作者初創(chuàng)重磅發(fā)布Transformer2！AI模型活了，動(dòng)態(tài)調(diào)整自己權(quán)重
文章來源：新智元
內(nèi)容字?jǐn)?shù)：6474字

Sakana AI提出Transformer2：賦予LLM實(shí)時(shí)適應(yīng)能力

大型語言模型(LLM)的傳統(tǒng)微調(diào)方法耗時(shí)費(fèi)力，且難以應(yīng)對(duì)多樣化任務(wù)。Sakana AI的研究團(tuán)隊(duì)為此提出了一種名為Transformer2的新方法，它能夠讓LLM實(shí)時(shí)適應(yīng)未見過的任務(wù)，顯著提升模型的泛化和自適應(yīng)能力。

1. LLM的“大腦”與奇異值分解

文章將LLM的權(quán)重矩陣比作人類大腦，存儲(chǔ)著模型學(xué)習(xí)到的知識(shí)。為了理解并有效調(diào)整這個(gè)“大腦”，研究人員利用奇異值分解(SVD)將權(quán)重矩陣分解成更小、更的組件，如同將大腦中的知識(shí)路徑分解成更小的模塊。

2. Transformer2的兩步過程

Transformer2包含兩個(gè)核心步驟：首先，模型分析傳入的任務(wù)，理解其需求；然后，應(yīng)用任務(wù)專用的適應(yīng)性調(diào)整，生成最佳結(jié)果。這通過動(dòng)態(tài)調(diào)整權(quán)重矩陣中的關(guān)鍵組件實(shí)現(xiàn)。

3. 奇異值微調(diào)(SVF)與強(qiáng)化學(xué)習(xí)(RL)

在訓(xùn)練階段，Transformer2采用奇異值微調(diào)(SVF)方法，利用強(qiáng)化學(xué)習(xí)(RL)來增強(qiáng)或抑制不同組件的信號(hào)，使其適應(yīng)多種下游任務(wù)。每個(gè)任務(wù)對(duì)應(yīng)一個(gè)z向量，該向量指定了每個(gè)組件的期望強(qiáng)度，如同“放大器”或“衰減器”。

4. 三種自適應(yīng)策略

在推理階段，Transformer2采用三種自適應(yīng)策略：基于提示的適應(yīng)、基于分類器的適應(yīng)和少樣本適應(yīng)。這些策略能夠根據(jù)任務(wù)或輸入提示，選擇或組合合適的z向量來調(diào)整模型權(quán)重，生成最佳響應(yīng)。

5. 實(shí)驗(yàn)結(jié)果與知識(shí)轉(zhuǎn)移

實(shí)驗(yàn)結(jié)果表明，Transformer2在數(shù)學(xué)、代碼、推理和視覺問答等任務(wù)上均優(yōu)于LoRA，尤其是在未見過的任務(wù)上表現(xiàn)出色。更令人興奮的是，該方法還展現(xiàn)出模型知識(shí)轉(zhuǎn)移的潛力：將一個(gè)模型學(xué)習(xí)到的z向量轉(zhuǎn)移到另一個(gè)模型，也能提升后者的性能。

6. “智能”的未來

Transformer2為L(zhǎng)LM的未來發(fā)展指明了方向：AI系統(tǒng)將不再是靜態(tài)實(shí)體，而是能夠不斷學(xué)習(xí)、演化和適應(yīng)的“智能”。這將推動(dòng)高效、個(gè)性化、完全集成的AI工具的開發(fā)，并在各個(gè)行業(yè)帶來進(jìn)步。

總而言之，Transformer2通過巧妙地利用SVD和RL，實(shí)現(xiàn)了LLM的實(shí)時(shí)自適應(yīng)能力，為構(gòu)建更靈活、高效和智能的AI系統(tǒng)開辟了新的道路。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。