CSGO AI

CSGO是一款由南京理工大學(xué)與小紅書等機(jī)構(gòu)聯(lián)合研發(fā)的圖像風(fēng)格遷移與文本到圖像生成的創(chuàng)新項目。其主要目標(biāo)是為用戶提供多樣化且豐富的圖像創(chuàng)作工具。CSGO通過先進(jìn)的數(shù)據(jù)構(gòu)建流程，生成并清洗風(fēng)格化數(shù)據(jù)三元組，并建立了IMAGStyle這一大規(guī)模風(fēng)格遷移數(shù)據(jù)集。基于此數(shù)據(jù)集，CSGO框架實現(xiàn)了圖像驅(qū)動的風(fēng)格遷移、文本驅(qū)動的風(fēng)格化合成和文本編輯驅(qū)動的風(fēng)格化合成，極大地提升了圖像生成過程中的風(fēng)格控制能力。

CSGO是什么

CSGO（Content-Style Composition in Text-to-Image Generation）是南京理工大學(xué)與小紅書等機(jī)構(gòu)共同推出的一個圖像風(fēng)格遷移和文本到圖像生成的研究項目。該項目旨在為用戶提供更為豐富和多樣的圖像創(chuàng)作工具。CSGO引入了一種創(chuàng)新的數(shù)據(jù)構(gòu)建流程，用以生成和清理風(fēng)格化數(shù)據(jù)三元組，并創(chuàng)建了一個名為IMAGStyle的大規(guī)模風(fēng)格遷移數(shù)據(jù)集。利用這一數(shù)據(jù)集，CSGO框架通過端到端的訓(xùn)練方式，成功實現(xiàn)圖像驅(qū)動和文本驅(qū)動的風(fēng)格化合成，顯著提升了圖像生成過程中的風(fēng)格控制能力。

CSGO的主要功能

• 圖像驅(qū)動的風(fēng)格遷移：用戶可以將一種圖像的風(fēng)格應(yīng)用到另一種圖像上，實現(xiàn)視覺上的風(fēng)格轉(zhuǎn)換，同時保持原始內(nèi)容的語義。
• 文本驅(qū)動的風(fēng)格化合成：通過輸入文本描述，系統(tǒng)能夠生成具有特定風(fēng)格的圖像，展現(xiàn)了其在理解自然語言和將文本轉(zhuǎn)化為視覺風(fēng)格方面的能力。
• 文本編輯驅(qū)動的風(fēng)格化合成：用戶在生成圖像后，可以通過編輯文本描述進(jìn)一步調(diào)整圖像的風(fēng)格，從而實現(xiàn)更高水平的創(chuàng)作控制。
• 端到端訓(xùn)練模型：CSGO采用端到端的訓(xùn)練方法，使模型在輸入和輸出之間形成連續(xù)的學(xué)習(xí)過程，從而提高了效率和效果。
• 特征注入技術(shù)：該技術(shù)通過的特征注入方式，將內(nèi)容和風(fēng)格特征明確解耦，分別提取并融合到生成的圖像中，以確保內(nèi)容的準(zhǔn)確性和風(fēng)格的一致性。

CSGO的技術(shù)原理

• 數(shù)據(jù)構(gòu)建流程：CSGO利用自動化的數(shù)據(jù)構(gòu)建流程來生成和清洗風(fēng)格化數(shù)據(jù)三元組，包括內(nèi)容圖像、風(fēng)格圖像及其對應(yīng)的風(fēng)格化結(jié)果圖像。
• 端到端訓(xùn)練模型：模型通過直接從輸入學(xué)習(xí)到輸出，提升了訓(xùn)練效率和效果，避免分階段處理的復(fù)雜性。
• 特征注入技術(shù)：
  • 內(nèi)容控制：通過預(yù)訓(xùn)練的ControlNet和額外的可學(xué)習(xí)交叉注意力層，將內(nèi)容特征注入到基礎(chǔ)模型中，確保保留原始內(nèi)容的語義和布局。
  • 風(fēng)格控制：通過預(yù)訓(xùn)練的圖像編碼器和風(fēng)格投影層，提取風(fēng)格特征并將其注入到模型的上采樣塊和的風(fēng)格控制模塊中。
• 擴(kuò)散模型：CSGO利用擴(kuò)散模型逐步去除噪聲生成圖像，確保在風(fēng)格遷移過程中保持內(nèi)容的完整性。
• 內(nèi)容對齊評分（CAS）：該評分用于衡量生成圖像與原始內(nèi)容圖像在內(nèi)容上的一致性，從而評估風(fēng)格遷移的質(zhì)量。

CSGO的項目地址

• 項目官網(wǎng)：csgo-gen.github.io
• GitHub倉庫：https://github.com/instantX-research/CSGO
• HuggingFace模型庫：https://huggingface.co/spaces/xingpng/CSGO
• arXiv技術(shù)論文：https://arxiv.org/pdf/2408.16766

CSGO的應(yīng)用場景

• 藝術(shù)創(chuàng)作：藝術(shù)家和設(shè)計師利用CSGO探索新的藝術(shù)風(fēng)格，創(chuàng)作獨特的數(shù)字藝術(shù)作品，或在保持內(nèi)容主題不變的情況下嘗試不同的視覺表現(xiàn)手法。
• 數(shù)字娛樂：在游戲開發(fā)與電影制作中，CSGO被用來生成具有特定風(fēng)格的場景和角色概念圖，為數(shù)字內(nèi)容創(chuàng)作提供多樣化的視覺元素。
• 設(shè)計行業(yè)：設(shè)計師可以基于CSGO快速生成設(shè)計草圖和原型，通過不同的風(fēng)格化圖像展示產(chǎn)品設(shè)計，或在設(shè)計過程中迅速迭代和測試不同的視覺風(fēng)格。
• 廣告營銷：營銷人員利用CSGO生成吸引人的廣告視覺內(nèi)容，針對目標(biāo)受眾對產(chǎn)品圖像進(jìn)行風(fēng)格化，或根據(jù)品牌形象定制獨特的視覺風(fēng)格。
• 社交媒體內(nèi)容創(chuàng)作：內(nèi)容創(chuàng)作者和影響者使用CSGO為社交媒體平臺（如Instagram、小紅書等）創(chuàng)作風(fēng)格化內(nèi)容，提升視覺吸引力和個性化表達(dá)。