Step1X-Edit

Step1X-Edit – 階躍星辰開(kāi)源的通用圖像編輯框架

Step1X-Edit是什么

Step1X-Edit 是由階躍星辰團(tuán)隊(duì)開(kāi)發(fā)的一款通用圖像編輯框架，旨在縮小開(kāi)源圖像編輯模型與閉源模型（例如 GPT-4o 和 Gemini2 Flash）之間的性能差異。該框架結(jié)合了多模態(tài)大語(yǔ)言模型（MLLM）和擴(kuò)散模型，能夠根據(jù)參考圖像和用戶(hù)的編輯指令提取潛在嵌入，并生成目標(biāo)圖像。為了訓(xùn)練此模型，研究團(tuán)隊(duì)構(gòu)建了一個(gè)大規(guī)模、高質(zhì)量的數(shù)據(jù)生成管道，生成了超過(guò) 100 萬(wàn)對(duì)圖像和指令對(duì)。同時(shí)，Step1X-Edit 還引入了新的基準(zhǔn)測(cè)試 GEdit-Bench，以評(píng)估模型在實(shí)際用戶(hù)指令下的表現(xiàn)。

Step1X-Edit的主要功能

• 多樣化編輯能力：支持多種圖像編輯任務(wù)，如添加、移除或替換主體，改變背景、調(diào)整色彩、修改材質(zhì)、進(jìn)行風(fēng)格轉(zhuǎn)換、提升肖像美感、文字編輯以及色調(diào)變化等。
• 自然語(yǔ)言指令驅(qū)動(dòng)：用戶(hù)可以通過(guò)自然語(yǔ)言描述其編輯需求，模型能夠理解并執(zhí)行復(fù)雜的編輯指令。
• 高質(zhì)量圖像生成：生成高保真且逼真的圖像效果。
• 真實(shí)場(chǎng)景適配：基于大規(guī)模高質(zhì)量數(shù)據(jù)集進(jìn)行訓(xùn)練，能夠處理現(xiàn)實(shí)生活中的各種復(fù)雜編輯場(chǎng)景。

Step1X-Edit的技術(shù)原理

• 多模態(tài)大語(yǔ)言模型（MLLM）：通過(guò) MLLM 處理參考圖像與用戶(hù)編輯指令，提取語(yǔ)義信息，并基于其強(qiáng)大的語(yǔ)義理解能力生成與編輯任務(wù)相關(guān)的嵌入向量。
• 擴(kuò)散模型（Diffusion Model）：利用擴(kuò)散模型（如 DiT 風(fēng)格架構(gòu)）進(jìn)行圖像生成。通過(guò)其高保真的生成能力，將 MLLM 提供的嵌入向量解碼為目標(biāo)圖像。
• 數(shù)據(jù)生成管道：建立一個(gè)大規(guī)模、高質(zhì)量的數(shù)據(jù)生成管道，生成超過(guò) 100 萬(wàn)對(duì)圖像和指令對(duì)，涵蓋多種編輯任務(wù)類(lèi)別，確保模型能夠?qū)W習(xí)到多樣化的編輯操作。
• 訓(xùn)練策略：從文本到圖像模型初始化，保持美學(xué)質(zhì)量和視覺(jué)一致性。通過(guò)聯(lián)合訓(xùn)練連接模塊與下游擴(kuò)散模型，優(yōu)化整體性能。
• 基準(zhǔn)測(cè)試（GEdit-Bench）：推出基于真實(shí)用戶(hù)指令的基準(zhǔn)測(cè)試 GEdit-Bench，評(píng)估模型的實(shí)際表現(xiàn)，確保其在真實(shí)場(chǎng)景中的有效性。

Step1X-Edit的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://step1x-edit.github.io/
• GitHub倉(cāng)庫(kù)：https://github.com/stepfun-ai/Step1X-Edit
• HuggingFace模型庫(kù)：https://huggingface.co/stepfun-ai/Step1X-Edit
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.17761
• 在線(xiàn)體驗(yàn)Demo：https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

Step1X-Edit的應(yīng)用場(chǎng)景

• 創(chuàng)意設(shè)計(jì)：快速生成創(chuàng)意圖像，如更換背景、調(diào)整顏色、添加元素，從而提升設(shè)計(jì)效率。
• 影視后期：應(yīng)用于特效制作，如添加或移除物體、改變外觀(guān)或調(diào)整色調(diào)，降低后期制作成本。
• 社交媒體：美化照片、添加趣味元素或調(diào)整風(fēng)格，增強(qiáng)內(nèi)容吸引力。
• 游戲開(kāi)發(fā)：生成角色、場(chǎng)景和道具，快速調(diào)整裝備或風(fēng)格，縮短美術(shù)資源開(kāi)發(fā)時(shí)間。
• 教育領(lǐng)域：生成教學(xué)材料，如修改歷史照片或創(chuàng)建科學(xué)插圖，提升教學(xué)效果。

常見(jiàn)問(wèn)題

• Step1X-Edit是否適合初學(xué)者使用？：是的，Step1X-Edit的自然語(yǔ)言指令驅(qū)動(dòng)特性使得初學(xué)者能夠輕松上手，快速實(shí)現(xiàn)圖像編輯。
• 如何獲取Step1X-Edit？：用戶(hù)可以通過(guò)項(xiàng)目官網(wǎng)或GitHub倉(cāng)庫(kù)下載和使用相關(guān)資源。
• 支持哪些圖像格式？：Step1X-Edit支持多種常見(jiàn)圖像格式，具體信息可查閱項(xiàng)目文檔。
• 是否有在線(xiàn)Demo可供體驗(yàn)？：是的，用戶(hù)可以訪(fǎng)問(wèn)在線(xiàn)體驗(yàn)Demo進(jìn)行實(shí)操練習(xí)，體驗(yàn)Step1X-Edit的強(qiáng)大功能。