模塊化重構(gòu)LLaVA，替換組件只需添加1-2個(gè)文件，開源TinyLLaVA Factory來了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：模塊化重構(gòu)LLaVA，替換組件只需添加1-2個(gè)文件，開源TinyLLaVA Factory來了
關(guān)鍵字：模型,報(bào)告,代碼,組件,編碼器
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4562字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.comTinyLLaVA 項(xiàng)目由清華大學(xué)電子系多媒體信號(hào)與智能信息處理實(shí)驗(yàn)室 (MSIIP) 吳及教授團(tuán)隊(duì)和北京航空航天大學(xué)人工智能學(xué)院黃雷老師團(tuán)隊(duì)聯(lián)袂打造。清華大學(xué) MSIIP 實(shí)驗(yàn)室長(zhǎng)期致力于智慧醫(yī)療、自然語言處理與知識(shí)發(fā)現(xiàn)、多模態(tài)等研究領(lǐng)域。北航團(tuán)隊(duì)長(zhǎng)期致力于深度學(xué)習(xí)、多模態(tài)、計(jì)算機(jī)視覺等研究領(lǐng)域。
近日，清華和北航聯(lián)合推出了 TinyLLaVA Factory, 一款支持定制、訓(xùn)練、評(píng)估多模態(tài)大模型的代碼庫，代碼和模型全部開源。該代碼庫以軟件工程的工廠模式作為設(shè)計(jì)理念，模塊化地重構(gòu)了 LLaVA 代碼庫，注重代碼的可讀性、功能的擴(kuò)展性、和實(shí)驗(yàn)效果的可復(fù)現(xiàn)性。方便研究者和實(shí)踐家們更容易地探索多模態(tài)大模型的訓(xùn)練和設(shè)計(jì)空間。Github 項(xiàng)目：https://gi

原文鏈接：模塊化重構(gòu)LLaVA，替換組件只需添加1-2個(gè)文件，開源TinyLLaVA Factory來了

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)