模塊化重構(gòu)LLaVA，替換組件只需添加1-2個文件，開源TinyLLaVA Factory來了

AIGC動態(tài)歡迎閱讀

原標(biāo)題：模塊化重構(gòu)LLaVA，替換組件只需添加1-2個文件，開源TinyLLaVA Factory來了
關(guān)鍵字：模型,報告,代碼,組件,編碼器
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：4562字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.comTinyLLaVA 項目由清華大學(xué)電子系多媒體信號與智能信息處理實驗室 (MSIIP) 吳及教授團隊和北京航空航天大學(xué)人工智能學(xué)院黃雷老師團隊聯(lián)袂打造。清華大學(xué) MSIIP 實驗室長期致力于智慧醫(yī)療、自然語言處理與知識發(fā)現(xiàn)、多模態(tài)等研究領(lǐng)域。北航團隊長期致力于深度學(xué)習(xí)、多模態(tài)、計算機視覺等研究領(lǐng)域。
近日，清華和北航聯(lián)合推出了 TinyLLaVA Factory, 一款支持定制、訓(xùn)練、評估多模態(tài)大模型的代碼庫，代碼和模型全部開源。該代碼庫以軟件工程的工廠模式作為設(shè)計理念，模塊化地重構(gòu)了 LLaVA 代碼庫，注重代碼的可讀性、功能的擴展性、和實驗效果的可復(fù)現(xiàn)性。方便研究者和實踐家們更容易地探索多模態(tài)大模型的訓(xùn)練和設(shè)計空間。Github 項目：https://gi

原文鏈接：模塊化重構(gòu)LLaVA，替換組件只需添加1-2個文件，開源TinyLLaVA Factory來了