Diffusion Self-Distillation（擴(kuò)散自蒸餾，簡(jiǎn)稱DSD）是一項(xiàng)前沿的零樣本定制圖像生成技術(shù)，由斯坦福大學(xué)的吳佳俊團(tuán)隊(duì)研發(fā)。該技術(shù)利用預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型，自動(dòng)生成數(shù)據(jù)集，并對(duì)其進(jìn)行微調(diào)，以便執(zhí)行文本條件的圖像到圖像轉(zhuǎn)換任務(wù)。DSD通過生成圖像網(wǎng)格并利用視覺語言模型篩選，創(chuàng)建出高質(zhì)量的配對(duì)數(shù)據(jù)集，從而實(shí)現(xiàn)無需人工干預(yù)的身份保持定制圖像生成。

XX是什么

Diffusion Self-Distillation（DSD）是一種全新的圖像生成方法，能夠在多種上下文中生成特定實(shí)例的圖像，同時(shí)保持其身份特征。該技術(shù)的核心在于零樣本學(xué)習(xí)，用戶無需為特定實(shí)例提供訓(xùn)練數(shù)據(jù)，只需應(yīng)用預(yù)訓(xùn)練模型即可完成生成任務(wù)。DSD的自動(dòng)化數(shù)據(jù)配對(duì)功能則依賴于自生成的數(shù)據(jù)集和視覺語言模型的輔助，確保創(chuàng)建出高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)。

主要功能

• 身份保持的定制圖像生成：在不同的情境下生成特定實(shí)例的圖像，確保其身份特征的一致性。
• 零樣本學(xué)習(xí)：無需特定實(shí)例的訓(xùn)練數(shù)據(jù)，直接利用預(yù)訓(xùn)練模型進(jìn)行圖像生成。
• 自動(dòng)化數(shù)據(jù)配對(duì)：借助視覺語言模型自動(dòng)篩選，創(chuàng)建高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)。
• 圖像到圖像的轉(zhuǎn)換：支持將輸入圖像轉(zhuǎn)換為符合特定文本條件的輸出圖像，例如改變光照效果、風(fēng)格或其他視覺屬性。
• 廣泛的適用性：適用于多種文本條件的圖像生成任務(wù)，包括個(gè)性化、重光照、深度控制和指令跟隨等。

產(chǎn)品官網(wǎng)

• 項(xiàng)目官網(wǎng)：primecai.github.io/dsd
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18616

應(yīng)用場(chǎng)景

• 藝術(shù)創(chuàng)作：藝術(shù)家可以在各種風(fēng)格和背景中創(chuàng)作，同時(shí)保持作品中角色或?qū)ο蟮囊恢滦浴?/li>
• 游戲開發(fā)：在游戲設(shè)計(jì)中，快速生成具有一致身份特征的角色或物品，以適應(yīng)不同的游戲場(chǎng)景。
• 電影和動(dòng)畫制作：電影制作人能夠在不同場(chǎng)景中保持角色一致性，或在不同光照條件下重新渲染場(chǎng)景。
• 廣告和營銷：營銷人員能夠定制廣告圖像，確保品牌形象在各類媒體中保持一致。
• 個(gè)性化商品：根據(jù)用戶上傳的圖像生成個(gè)性化商品，例如定制的T恤、杯子和手機(jī)殼等，同時(shí)保持品牌元素的一致性。

常見問題

• DSD如何實(shí)現(xiàn)身份保持的生成？：DSD通過生成高質(zhì)量的配對(duì)數(shù)據(jù)集和利用預(yù)訓(xùn)練模型的上下文生成能力，確保在不同情境下保持身份一致性。
• 是否需要大量的訓(xùn)練數(shù)據(jù)？：不需要。DSD采用零樣本學(xué)習(xí)，利用預(yù)訓(xùn)練模型即可進(jìn)行生成，無需針對(duì)特定實(shí)例的訓(xùn)練數(shù)據(jù)。
• DSD適用哪些領(lǐng)域？：DSD廣泛適用于藝術(shù)創(chuàng)作、游戲開發(fā)、電影制作、廣告營銷和個(gè)性化商品等多個(gè)領(lǐng)域。