EMMS：高效的多模態多任務預訓練模型選擇器 | NeurIPS 2023

AIGC動態歡迎閱讀

原標題：EMMS：高效的多模態多任務預訓練模型選擇器 | NeurIPS 2023
關鍵字：模型,任務,標簽,算法,基礎
文章來源：算法邦
內容字數：14595字

內容摘要：

直播預告 | 今晚7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者，共同探討多模態大模型的發展與應用，歡迎報名。模型優選，指的是給定數據集以及一簇預訓練模型后，選擇一個最適合的預訓練模型可以在下游任務上微調后得到最好的結果。尤其在大模型蓬勃發展的今天，模型優選能作為多任務處理模型TaskMatrix[1]的高效API選擇器。在遷移學習的框架下，一個最簡單的手段是把所有的預訓練模型全部進行微調，最后選擇最適合的那一個，但是微調的時間與物力成本過高。所以這一任務的難點在于如何準確且高效的完成多個預訓練模型的下游任務效果預測。現有工作[2,3]都聚焦于特定任務的模型優選，比如圖像分類。且由于方法設計包括了任務的先驗信息，無法有效的擴展到其他任務比如圖像描述等。
為了解決這個問題，我們提出EMMS（Efficient Multimodal Multitask Model Selector）。EMMS是一個高效的多模態多任務預訓練模型選擇器，可以快速為包括圖像分類，圖像描述，視覺，文本問答，視覺定位任務等任務選擇

原文鏈接：EMMS：高效的多模態多任務預訓練模型選擇器 | NeurIPS 2023

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。