AIGC動態(tài)歡迎閱讀

原標題：ICLR 2024｜把圖像視為外語，快手、北大多模態(tài)大模型媲美DALLE-3
關鍵字：圖像,快手,視覺,分詞,模型
文章來源：機器之心
內(nèi)容字數(shù)：6753字

內(nèi)容摘要：

機器之心報道
機器之心編輯部動態(tài)視覺分詞統(tǒng)一圖文表示，快手與北大合作提出基座模型 LaVIT 刷榜多模態(tài)理解與生成任務。
當前的大型語言模型如 GPT、LLaMA 等在自然語言處理領域取得了顯著進展，能夠理解和生成復雜的文本內(nèi)容。但你是否想過，如果能夠將大語言模型這強大的理解和生成能力遷移到多模態(tài)數(shù)據(jù)上，就可以輕松理解海量的圖像與視頻，并輔助創(chuàng)作圖文并茂的內(nèi)容。近期，來自快手和北大合作的最新多模態(tài)大模型 LaVIT, 正在讓這個想法逐步變?yōu)楝F(xiàn)實。論文標題：Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization
論文地址：https://arxiv.org/abs/2309.04669
代碼模型地址：https://github.com/jy0205/LaVIT
模型總覽
LaVIT 作為一個新型的通用多模態(tài)基礎模型，可以像語言模型那樣，既能夠理解也能生成視覺內(nèi)容。LaVIT 繼承了大語言模型成功的訓練范式，即以自回歸的方式預測下一個圖像或文本 token。在訓練完成后，其可

原文鏈接：ICLR 2024｜把圖像視為外語，快手、北大多模態(tài)大模型媲美DALLE-3

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺