日本 AI 公司發布自適應大模型，可動態調整其權重以完成各種任務

在人工智能領域，適應性的概念具有類似的吸引力。

原標題：日本 AI 公司發布自適應大模型，可動態調整其權重以完成各種任務
文章來源：AI前線
內容字數：8104字

Transformer2：賦能自適應人工智能的新方法

本文介紹了Sakana AI團隊最新研究成果Transformer2，一種能夠動態調整權重以適應各種任務的機器學習系統。該系統借鑒了自然界中生物體適應性的概念，例如章魚變色和人類大腦自我重塑的能力，旨在創造更靈活、高效的人工智能模型。

1. 適應性：人工智能的未來

文章指出，適應性是自然界和人工智能領域都極具吸引力的概念。Transformer2的目標是讓機器學習系統能夠像生物體一樣，在不斷變化的環境中動態調整自身，從而提高效率并實現終身學習。

2. LLM“大腦”剖析：奇異值分解（SVD）

文章將大型語言模型（LLM）的權重矩陣比作人類大腦，知識存儲在其中。為了理解并有效調整LLM以適應新任務，研究人員利用奇異值分解（SVD）技術，將復雜的權重矩陣分解成更小、更的組件，類似于對大腦進行“手術”，從而更好地理解和控制模型的學習過程。

3. Transformer2的工作機制

Transformer2采用兩步流程：首先分析傳入的任務要求，然后應用特定于任務的調整生成最佳結果。核心在于其動態調整權重矩陣關鍵組件的能力。訓練階段使用奇異值微調（SVF）和強化學習（RL）來增強或抑制不同組件的信號；推理階段則采用基于提示、基于分類器和小樣本三種自適應方法來檢測任務并相應調整權重。

4. SVF和RL訓練：學習任務“專家”

SVF學習一組z向量，每個向量代表一項任務的“專家”，指定權重矩陣中每個分量的期望強度，如同調節不同組件對模型行為的影響的“放大器”或“阻尼器”。強化學習用于在一組預定義的下游任務上學習這些z向量，從而使Transformer2能夠適應各種新任務，同時僅引入少量附加參數。

5. 自適應策略：三管齊下

Transformer2在推理時采用三種自適應方法：基于提示的自適應、基于分類器的自適應和小樣本自適應。這三種方法結合，確保了模型能夠穩健高效地適應不同任務。

6. 主要成果：超越傳統方法

實驗結果表明，Transformer2在數學、編碼、推理和視覺理解等任務上均取得了顯著進展，優于LoRA等傳統靜態方法，同時所需參數更少。尤其是在小樣本學習中，模型能夠巧妙地結合不同任務的“專家”知識，實現最佳性能。

7. 跨模型知識轉移：潛力無限

研究人員還探索了跨模型知識轉移的可能性，發現將學習到的z向量從一個模型轉移到另一個模型可以提高后者在大多數任務上的性能，這為未來人工智能模型的開發提供了新的方向。

8. 未來展望：邁向生命智能

Transformer2代表了人工智能系統發展的一個重要里程碑。它展現了自適應LLM在徹底改變人工智能研究和應用方面的巨大潛力，預示著未來人工智能系統將不再是靜態實體，而是能夠像生物體一樣不斷學習、進化和適應的“生命智能”。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。