Seedream 2.0 – 字節(jié)豆包推出的原生中英雙語圖像生成模型

Seedream 2.0 是字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)推出的一款原生中英雙語圖像生成模型，旨在彌補(bǔ)現(xiàn)有模型在文本呈現(xiàn)和文化理解上的不足。該模型利用自研的雙語大語言模型（LLM）作為文本編碼器，能夠從海量數(shù)據(jù)中學(xué)習(xí)本土文化，生成具備準(zhǔn)確文化細(xì)節(jié)和美學(xué)表現(xiàn)的高保真圖像。

Seedream 2.0是什么

Seedream 2.0 是字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)發(fā)布的一款中英雙語圖像生成模型，專注于解決當(dāng)前模型在文本渲染和文化理解方面的缺陷。通過自研的雙語大語言模型（LLM）作為文本編碼器，Seedream 2.0 能夠從大量數(shù)據(jù)中提取本土知識(shí)，生成具有文化細(xì)節(jié)與審美表達(dá)的高保真圖像。同時(shí)，模型應(yīng)用了 Glyph-Aligned ByT5 進(jìn)行靈活的字符級(jí)文本渲染，并通過 Scaled ROPE 技術(shù)實(shí)現(xiàn)對(duì)未訓(xùn)練分辨率的泛化。

Seedream 2.0的主要功能

• 強(qiáng)大的雙語理解能力：支持中英文指令的精準(zhǔn)理解與執(zhí)行，能夠生成體現(xiàn)文化微妙差異的中文或英文美學(xué)表達(dá)圖像，突破語言與視覺之間的壁壘。
• 卓越的文本渲染能力：顯著降低文字崩潰現(xiàn)象，字體變化展現(xiàn)自然且美觀，尤其在國(guó)風(fēng)圖案與元素的生成中，能夠輸出高質(zhì)量結(jié)果。
• 多分辨率生成能力：借助三重優(yōu)化的 DiT 架構(gòu)，實(shí)現(xiàn)多分辨率生成及訓(xùn)練穩(wěn)定性的提升，支持生成未訓(xùn)練過的圖像尺寸和多種分辨率。
• 基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）優(yōu)化：利用自研的獎(jiǎng)勵(lì)模型與反饋學(xué)習(xí)算法，提升模型在圖像文本對(duì)齊、美學(xué)、結(jié)構(gòu)正確性及文本渲染等方面的綜合表現(xiàn)。

Seedream 2.0的技術(shù)原理

• 數(shù)據(jù)預(yù)處理
  • 數(shù)據(jù)組成：精心策劃的預(yù)訓(xùn)練數(shù)據(jù)包括高質(zhì)量數(shù)據(jù)對(duì)、分布維持?jǐn)?shù)據(jù)、知識(shí)注入數(shù)據(jù)及針對(duì)性補(bǔ)充數(shù)據(jù)。
  • 數(shù)據(jù)清洗：通過多階段過濾方法，確保數(shù)據(jù)的高質(zhì)量和相關(guān)性。
  • 主動(dòng)學(xué)習(xí)引擎：優(yōu)化圖像分類器，確保訓(xùn)練數(shù)據(jù)集的優(yōu)質(zhì)。
  • 圖像標(biāo)注：生成通用標(biāo)題與專業(yè)標(biāo)題，涵蓋多種描述類型。
  • 文本渲染數(shù)據(jù)：構(gòu)建大規(guī)模視覺文本渲染數(shù)據(jù)集，以支持文本渲染任務(wù)。
• 模型預(yù)訓(xùn)練
  • 擴(kuò)散變換器（DiT）：處理圖像和文本標(biāo)記，采用縮放版二維旋轉(zhuǎn)位置嵌入（Scaling RoPE），支持未訓(xùn)練分辨率的泛化。
  • 文本編碼器：自研雙語大語言模型（LLM），從海量數(shù)據(jù)中學(xué)習(xí)本土知識(shí)，支持高保真圖像生成。
  • 字符級(jí)文本編碼器：應(yīng)用 Glyph-Aligned ByT5 模型，實(shí)現(xiàn)靈活的字符級(jí)文本渲染。
• 模型后訓(xùn)練
  • 持續(xù)訓(xùn)練（CT）：通過高質(zhì)量數(shù)據(jù)集延長(zhǎng)訓(xùn)練，提升生成圖像的美感。
  • 監(jiān)督微調(diào)（SFT）：利用少量高質(zhì)量圖像微調(diào)模型，以提升藝術(shù)美感。
  • 人類反饋對(duì)齊（RLHF）：結(jié)合偏好數(shù)據(jù)、獎(jiǎng)勵(lì)模型和反饋學(xué)習(xí)算法，增強(qiáng)多方面性能。
  • 提示工程（PE）：利用微調(diào)的 LLM 重寫用戶提示，以提升生成圖像質(zhì)量。
  • 細(xì)化器：將基礎(chǔ)模型生成的圖像放大至更高分辨率，修復(fù)可能的結(jié)構(gòu)錯(cuò)誤。
• 指令式圖像編輯對(duì)齊：Seedream 2.0 能夠適應(yīng)指令式圖像編輯模型，如 SeedEdit，實(shí)現(xiàn)高質(zhì)量的圖像編輯，同時(shí)保持高美感和構(gòu)圖準(zhǔn)確性。
• 性能表現(xiàn)：Seedream 2.0 在提示遵循、美感、文本渲染和結(jié)構(gòu)正確性等方面表現(xiàn)卓越，經(jīng)過多輪 RLHF 優(yōu)化，其輸出與人類偏好高度一致，ELO 得分優(yōu)異。

Seedream 2.0的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://team.doubao.com/zh/tech/seedream
• arXIv技術(shù)論文：https://arxiv.org/pdf/2503.07703

如何使用Seedream 2.0

• 訪問平臺(tái)使用：可以通過豆包或即夢(mèng)的官方網(wǎng)站進(jìn)行訪問。
• 注冊(cè)/登錄：使用賬號(hào)登錄豆包平臺(tái)。
• 輸入提示詞：在圖像生成界面輸入詳細(xì)的中英文提示詞，描述希望生成的圖像內(nèi)容。
• 選擇生成模式：選擇合適的生成模式（如普通生成、高清生成等）。
• 調(diào)整參數(shù)：根據(jù)需求調(diào)整生成參數(shù)（如分辨率、風(fēng)格等）。
• 生成圖像：點(diǎn)擊生成按鈕，等待模型生成圖像。
• 下載或使用圖像：生成的圖像可以直接下載或用于進(jìn)一步編輯。
• 使用 API 接口
  • 獲取 API Key：開發(fā)者可通過豆包或即夢(mèng)平臺(tái)的開發(fā)者文檔獲取 API Key。
  • 發(fā)送請(qǐng)求：使用 HTTP 請(qǐng)求將提示詞和生成參數(shù)發(fā)送到 Seedream 2.0 的 API 接口。
  • 接收響應(yīng)：API 將返回生成的圖像鏈接，可直接下載或使用這些圖像。

Seedream 2.0的應(yīng)用場(chǎng)景

• 海報(bào)設(shè)計(jì)：生成引人注目的海報(bào)，支持復(fù)雜的文字渲染和藝術(shù)風(fēng)格，能夠根據(jù)用戶輸入的提示詞生成高質(zhì)量的設(shè)計(jì)。
• 社交媒體內(nèi)容：為社交媒體平臺(tái)創(chuàng)作吸引人的圖像，支持多種風(fēng)格和主題，幫助用戶快速生成高質(zhì)量的內(nèi)容。
• 視頻內(nèi)容：生成視頻內(nèi)容的封面圖、關(guān)鍵幀等，支持多種視頻風(fēng)格和場(chǎng)景，能夠根據(jù)視頻內(nèi)容生成相關(guān)的圖像。
• 繪畫創(chuàng)作：生成各類風(fēng)格的繪畫作品，支持油畫、水彩畫、素描等多種藝術(shù)風(fēng)格，根據(jù)用戶輸入的提示詞生成高質(zhì)量作品。
• 教學(xué)輔助：生成教學(xué)輔助圖像，支持多種教學(xué)場(chǎng)景，能夠根據(jù)教學(xué)內(nèi)容生成相關(guān)圖像。
• 游戲場(chǎng)景生成：生成游戲中的場(chǎng)景和背景，支持多種游戲風(fēng)格，能夠根據(jù)游戲內(nèi)容生成相關(guān)的圖像。