擴散模型更懂復(fù)雜提示詞！Pika北大斯坦福開源新框架，利用LLM提升理解力

AIGC動態(tài)歡迎閱讀

原標題：擴散模型更懂復(fù)雜提示詞！Pika北大斯坦福開源新框架，利用LLM提升理解力
關(guān)鍵字：模型,提示,圖像,區(qū)域,能力
文章來源：量子位
內(nèi)容字數(shù)：3469字

內(nèi)容摘要：

明敏 發(fā)自 凹非寺量子位 | 公眾號 QbitAIPika北大斯坦福聯(lián)手，開源最新文本-圖像生成/編輯框架！
無需額外訓練，即可讓擴散模型擁有更強提示詞理解能力。
面對超長、超復(fù)雜提示詞，準確性更高、細節(jié)把控更強，而且生成圖片更加自然。
效果超越最強圖像生成模型Dall·E 3和SDXL。
比如要求圖片左右冰火兩重天，左邊有冰山、右邊有火山。
SDXL完全沒有符合提示詞要求，Dall·E 3沒有生成出來火山這一細節(jié)。
還能通過提示詞對生成圖像二次編輯。
這就是文本-圖像生成/編輯框架RPG（Recaption,Plan and Generate），已經(jīng)在網(wǎng)上引起熱議。
它由北大、斯坦福、Pika聯(lián)合開發(fā)。作者包括北大計算機學院崔斌教授、Pika聯(lián)合創(chuàng)始人兼CTO Chenlin Meng等。
目前框架代碼已開源，兼容各種多模態(tài)大模型（如MiniGPT-4）和擴散模型主干網(wǎng)絡(luò)（如ControlNet）。
利用多模態(tài)大模型做增強一直以來，擴散模型在理解復(fù)雜提示詞方面都相對較弱。
一些已有改進方法，要么最終實現(xiàn)效果不夠好，要么需要進行額外訓練。
因此研究團隊利用多模態(tài)大模型的理解能力來增強擴

原文鏈接：擴散模型更懂復(fù)雜提示詞！Pika北大斯坦福開源新框架，利用LLM提升理解力

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破