MultiBooth – 清華聯(lián)合 Meta 等機構(gòu)推出的多概念圖像生成方法

MultiBooth是什么

MultiBooth是一種由清華大學(xué)深圳國際研究生院、Meta和香港科技大學(xué)等機構(gòu)共同研發(fā)的多概念圖像生成技術(shù)。該方法能夠根據(jù)用戶提供的文本生成包含多個指定概念的圖像。MultiBooth的生成過程分為兩個主要階段：單概念學(xué)習(xí)和多概念整合。在單概念學(xué)習(xí)階段，利用多模態(tài)圖像編碼器和自適應(yīng)概念歸一化技術(shù)，為每個概念創(chuàng)建一個簡潔而獨特的嵌入表示，并通過LoRA技術(shù)提高概念的保真度。在多概念整合階段，通過區(qū)域定制化模塊（RCM）根據(jù)邊界框和區(qū)域提示在特定區(qū)域內(nèi)生成各個概念，并在基礎(chǔ)提示的幫助下確保不同概念之間的準(zhǔn)確交互。MultiBooth在實現(xiàn)高圖像保真度和文本對齊能力的同時，能夠高效生成多概念圖像，并且在訓(xùn)練和推理階段保持較低的成本。

MultiBooth的主要功能

• 多概念圖像生成：根據(jù)用戶輸入的文本提示，生成包含多個指定概念的圖像。
• 高保真度與文本對齊：生成的圖像展現(xiàn)出高保真度，清晰呈現(xiàn)各個概念的細(xì)節(jié)特征，并且與用戶的文本提示高度一致，確保圖像內(nèi)容與用戶意圖相符。
• 高效推理：在多概念生成過程中，推理成本較低，推理時間不會因概念數(shù)量增加而顯著延長，從而提升多概念圖像生成的效率。
• 插件式生成：支持以插件形式組合不同的單概念模塊進(jìn)行多概念圖像生成，無需針對每個概念組合重新訓(xùn)練模型，從而提高模型的靈活性與可擴展性。

MultiBooth的技術(shù)原理

• 單概念學(xué)習(xí)階段：
  • 多模態(tài)圖像編碼器：利用QFormer編碼器，輸入圖像及概念名稱（例如“狗”），通過自注意力層與交叉注意力層的交互，生成與文本對齊的個性化嵌入表示，為每個概念學(xué)習(xí)簡潔且獨特的嵌入。
  • 自適應(yīng)概念歸一化（ACN）：調(diào)整個性化嵌入的L2范數(shù)，使其與文本提示中的其他詞嵌入具有可比性，從而解決嵌入空間的域間差異問題，增強多概念生成能力。
  • 高效概念編碼技術(shù)：通過LoRA技術(shù)對U-Net中的注意力層進(jìn)行低秩分解，以避免因微調(diào)U-Net導(dǎo)致的語言漂移，從而提高單概念學(xué)習(xí)的概念保真度，減少額外的參數(shù)存儲需求。
• 多概念整合階段：
  • 區(qū)域定制化模塊（RCM）：在交叉注意力層中，根據(jù)用戶定義或自動生成的邊界框和區(qū)域提示，將圖像特征劃分為不同區(qū)域，每個區(qū)域由相應(yīng)的單概念模塊和提示引導(dǎo)生成概念，確保不同區(qū)域概念之間的交互實現(xiàn)多個概念在同一圖像中的準(zhǔn)確融合。
  • 并行生成與交互：在RCM中，多個單概念模塊可以同時生成，基于交叉注意力機制實現(xiàn)概念之間的并行交互，避免概念融合和推理成本的增加。

MultiBooth的項目地址

• 項目官網(wǎng)：multibooth.github.io
• GitHub倉庫：https://github.com/chenyangzhu1/MultiBooth
• arXiv技術(shù)論文：https://arxiv.org/pdf/2404.14239

MultiBooth的應(yīng)用場景

• 娛樂與創(chuàng)意產(chǎn)業(yè)：能夠快速為冒險游戲生成神秘古墓場景圖，展示內(nèi)部機關(guān)與壁畫，豐富游戲的探索元素。
• 廣告與營銷：制作化妝品面膜的廣告海報，展示年輕女性使用后煥然一新的肌膚，以傳達(dá)產(chǎn)品效果和品牌定位。
• 教育與學(xué)習(xí)：生成中世紀(jì)城堡的圖像，清晰展示塔樓與城墻結(jié)構(gòu)，幫助學(xué)生理解城堡的特點，加深歷史知識的記憶。
• 電子商務(wù)：為夏季連衣裙生成搭配圖，展示碎花連衣裙與草編涼鞋和草帽的搭配效果，吸引顧客購買。
• 科研與工程：生成新型納米材料結(jié)構(gòu)的示意圖，展現(xiàn)其超輕重量和高強度特性，幫助公眾理解科研成果的創(chuàng)新性。

常見問題

• MultiBooth支持哪些類型的文本提示？：MultiBooth支持各種文本提示，用戶可以組合不同的概念進(jìn)行圖像生成。
• 生成的圖像質(zhì)量如何？：生成的圖像具有高保真度，能夠清晰展示各個概念的細(xì)節(jié)特征，與文本提示高度一致。
• 使用MultiBooth需要什么樣的計算資源？：MultiBooth在推理階段的計算資源需求相對較低，適合大多數(shù)用戶使用。