ConsiStory是一款由NVIDIA與特拉維夫大學(xué)的研究團隊聯(lián)合開發(fā)的先進文本生成圖像技術(shù)。該技術(shù)的獨特之處在于無需進行任何訓(xùn)練過程，即可快速且自然地將已有圖像擴展至不同場景，同時保持其風(fēng)格和主題的一致性。ConsiStory的核心理念是通過共享預(yù)訓(xùn)練文本到圖像模型的內(nèi)部激活，確保生成圖像的主題連貫性。這一方法顯著簡化了生成一致性圖像的流程，省去了繁瑣的優(yōu)化和預(yù)訓(xùn)練步驟。

ConsiStory是什么

ConsiStory是一個創(chuàng)新的文本生成圖像工具，旨在幫助用戶在不需要訓(xùn)練的情況下，利用現(xiàn)有的模型生成主題一致的圖像。通過保持風(fēng)格和主題的連續(xù)性，該技術(shù)能夠在應(yīng)對不同文本提示時，自然地擴展圖像到多種場景中。這一方法有效提升了圖像生成的效率與質(zhì)量，為創(chuàng)作者提供了更大的便利。

ConsiStory的主要功能

• 無需訓(xùn)練：用戶可以直接使用已經(jīng)預(yù)訓(xùn)練的文本到圖像（T2I）模型生成一致的圖像，節(jié)省了大量的時間和資源。
• 一致性主題生成：ConsiStory能夠在不同的文本提示下，生成保持相同主題身份的圖像，適用于故事書、角色設(shè)計和虛擬資產(chǎn)創(chuàng)建等領(lǐng)域。
• 跨幀一致性：通過內(nèi)部激活共享和注意力機制，確保不同背景和情境下生成的圖像在主題特征上保持一致。
• 布局多樣性：結(jié)合注意力丟棄和查詢特征混合等技術(shù)，避免了圖像布局的過度一致性，增加了生成圖像的多樣性。
• 兼容性：與現(xiàn)有圖像編輯工具（如ControlNet）相兼容，能夠?qū)崿F(xiàn)更復(fù)雜的圖像控制。
• 快速生成：由于省略了訓(xùn)練步驟，ConsiStory的圖像生成速度約為現(xiàn)有先進技術(shù)的20倍。

ConsiStory的官網(wǎng)入口

• 官方項目主頁：https://consistory-paper.github.io/
• Arxiv研究論文：https://arxiv.org/abs/2402.03286
• GitHub源代碼庫：即將推出

應(yīng)用場景

ConsiStory可以廣泛應(yīng)用于多個領(lǐng)域，包括但不限于：

• 故事書創(chuàng)作：為每個章節(jié)生成視覺一致的插圖，提升閱讀體驗。
• 角色設(shè)計：設(shè)計游戲或動畫中的角色，使其在不同場景中保持一致的外觀。
• 虛擬資產(chǎn)制作：為虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用生成統(tǒng)一風(fēng)格的資產(chǎn)。
• 廣告創(chuàng)意：根據(jù)不同的文本提示快速生成多樣化的廣告圖像。

常見問題

• ConsiStory真的不需要訓(xùn)練嗎？ 是的，ConsiStory利用預(yù)訓(xùn)練模型直接生成一致性圖像，省去了訓(xùn)練過程。
• 我可以在不同場景中使用相同的主題嗎？ 可以，ConsiStory支持在不同背景下保持主題一致性。
• 如何實現(xiàn)圖像的多樣性？ 通過注意力丟棄和特征混合等技術(shù)，ConsiStory能夠?qū)崿F(xiàn)圖像布局的多樣性。
• ConsiStory與其他圖像編輯工具兼容嗎？ 是的，ConsiStory可以與現(xiàn)有的圖像編輯工具相結(jié)合使用，以實現(xiàn)更復(fù)雜的圖像控制。

ConsiStory的出現(xiàn)，標(biāo)志著圖像生成技術(shù)的一次重要進步，為創(chuàng)作者提供了更多的可能性和便利。無論是設(shè)計師、插畫師還是廣告創(chuàng)意人員，都能在這一工具的幫助下，輕松實現(xiàn)他們的創(chuàng)意構(gòu)想。