AIGC動態歡迎閱讀

原標題：finetune后的模型參數，還可以繼續怎么玩？
關鍵字：侵權,知乎,騰訊,任務,參數
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

大會預告12月5日-6日，2024中國生成式AI大會（上海站）將舉辦。上海科大助理教授、博導顧家遠，騰訊優圖實驗室天衍研究中心負責人吳賢，銀河通用機器人合伙人張直政，趣丸科技副總裁賈朔，曠視研究院高級研究員李華東已確認參會，將圍繞大模型、具身智能、AI視頻生成帶來分享，歡迎報名。導讀作者為qjf42
原文來自知乎，地址：https://zhuanlan.zhihu.com/p/591775846
本文只做學術/技術分享，如有侵權，聯系刪文。看到了一篇很有意思的paper，文章對預訓練和finetune之后的模型參數之差（task vector = 兩個weight按位相減）做了分析，發現了一些奇妙的用法：通過對不同下游任務的task vectors進行簡單的計算，組合得到的新參數（構成一個線性子空間），可以擴展出更多的使用場景，如：功能抑制（遺忘），多任務學習，遷移學習。
以下，我們記task vector 為
我們可以構造一系列新的參數
01反向即遺忘也就是
顯然，這可以讓模型的效果變差，有多差呢？
作者用CLIP分別在八個下游任務上finetune，然后反向，并觀察在ImageNe

原文鏈接：finetune后的模型參數，還可以繼續怎么玩？

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：