AIGC動態(tài)歡迎閱讀

原標題：多模態(tài)大模型不夠靈活，谷歌DeepMind創(chuàng)新架構(gòu)Zipper：分開訓練再「壓縮」
關(guān)鍵字：解碼器,模型,表征,骨干,文本
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：蛋醬最近的一系列研究表明，純解碼器生成模型可以通過訓練利用下一個 token 預(yù)測生成有用的表征，從而成功地生成多種模態(tài)（如音頻、圖像或狀態(tài) – 動作序列）的新序列，從文本、蛋白質(zhì)、音頻到圖像，甚至是狀態(tài)序列。
能夠同時生成多種模態(tài)輸出的多模態(tài)模型一般是通過某種形式的詞匯擴展（將多模態(tài)表征轉(zhuǎn)換為離散 token 并添加到模型的基本詞匯表中）來實現(xiàn)的，即在預(yù)訓練階段或在后期微調(diào)階段進行跨模態(tài)對齊。
多模態(tài)預(yù)訓練方法具有很強的性能優(yōu)勢（例如，一個模型可以原生理解多種模態(tài)），但也有缺點。例如，無法解決如何在預(yù)訓練后添加新模態(tài)的問題，也缺乏靈活性，因為添加另一種模態(tài)需要從頭開始訓練一個新的模型，并進行超參數(shù)搜索，以獲得模態(tài)之間的最佳訓練數(shù)據(jù)混合比。因此，這種解決方案不適合小眾模態(tài)，特別是 IMU、蛋白質(zhì)序列等。
或者，將詞匯擴展到另一種模態(tài)可以在一個從未見過該模態(tài)的模型上進行預(yù)訓練后進行。只在文本模態(tài)下訓練的解碼器模型可以在上下文中遵循指令并從樣本中學習，通常是通過微調(diào)將另一種模態(tài)（如音頻或圖像功能）嫁接到現(xiàn)有的強大文本骨干上，以利用文本模態(tài)的可表達性和人類用戶的可控性。這

原文鏈接：多模態(tài)大模型不夠靈活，谷歌DeepMind創(chuàng)新架構(gòu)Zipper：分開訓練再「壓縮」

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺