BAGEL – 字節(jié)跳動開源的多模態(tài)基礎(chǔ)模型

BAGEL是字節(jié)跳動推出的一款開源多模態(tài)基礎(chǔ)模型，具備140億個參數(shù)，其中70億為活躍參數(shù)。該模型采用了混合變換器專家架構(gòu)（MoT），通過兩個的編碼器分別提取圖像的像素級和語義級特征。BAGEL遵循“下一個標(biāo)記組預(yù)測”的訓(xùn)練方式，使用大量多模態(tài)標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，包括語言、圖像、視頻和網(wǎng)絡(luò)信息。在多模態(tài)理解基準(zhǔn)測試中，BAGEL的性能超過了Qwen2.5-VL和InternVL-2.5等頂尖的開源視覺語言模型，文本到圖像生成的質(zhì)量與SD3相當(dāng)，并在圖像編輯方面表現(xiàn)優(yōu)于許多同類模型。BAGEL支持形式的圖像編輯、未來幀預(yù)測、三維操作及世界導(dǎo)航等多種任務(wù)。

BAGEL是什么

BAGEL是字節(jié)跳動開發(fā)的多模態(tài)基礎(chǔ)模型，擁有140億個參數(shù)，其中70億個為活躍參數(shù)。通過混合變換器專家架構(gòu)（MoT），BAGEL使用兩個編碼器來捕捉圖像的像素和語義特征。該模型遵循“下一個標(biāo)記組預(yù)測”的訓(xùn)練模式，利用海量多模態(tài)標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，涵蓋語言、圖像、視頻和網(wǎng)絡(luò)內(nèi)容。在性能方面，BAGEL在多模態(tài)理解基準(zhǔn)測試中超越了許多頂級開源視覺語言模型，且在文本到圖像生成和圖像編輯方面表現(xiàn)卓越，能夠完成如形式的圖像編輯、未來幀預(yù)測和三維場景操作等多樣化任務(wù)。

BAGEL的主要功能

• 圖像與文本融合理解：BAGEL能夠深入解析圖像與文本之間的關(guān)系，精準(zhǔn)結(jié)合圖像內(nèi)容與文本描述。
• 視頻內(nèi)容解析：BAGEL可處理視頻數(shù)據(jù)，理解動態(tài)信息并分析語義內(nèi)容。
• 文本轉(zhuǎn)圖像生成：用戶輸入文本描述后，BAGEL可以生成與之相符的高質(zhì)量圖像。
• 圖像編輯與調(diào)整：BAGEL支持對現(xiàn)有圖像進(jìn)行編輯，根據(jù)指令生成修改后的圖像，滿足形式編輯需求。
• 視頻幀預(yù)測：BAGEL能夠預(yù)測視頻中的未來幀，基于前幾幀生成后續(xù)內(nèi)容，完整恢復(fù)視頻信息。
• 三維場景理解與操作：BAGEL理解和操作三維場景，可識別、定位和操作三維物體，在虛擬環(huán)境中移動物體或改變屬性。
• 世界導(dǎo)航：BAGEL具備在虛擬或現(xiàn)實(shí)三維環(huán)境中進(jìn)行路徑規(guī)劃與導(dǎo)航的能力。
• 跨模態(tài)檢索：BAGEL實(shí)現(xiàn)跨模態(tài)檢索功能，根據(jù)文本描述檢索匹配的圖像或視頻，反之亦然。
• 多模態(tài)融合任務(wù)：在多模態(tài)融合任務(wù)中，BAGEL能夠有效整合來自不同模態(tài)的數(shù)據(jù)（如圖像、文本、語音等），生成綜合結(jié)果。

BAGEL的技術(shù)原理

• 雙編碼器架構(gòu)：BAGEL采用混合變換器專家架構(gòu)（MoT），其中包含兩個編碼器，分別處理圖像的像素級特征和語義特征，從而同時捕捉低層次細(xì)節(jié)和高層次語義信息。
• 專家混合機(jī)制：MoT架構(gòu)內(nèi)的多個專家模塊負(fù)責(zé)處理特定類型的特征或任務(wù)，訓(xùn)練過程中動態(tài)選擇最合適的專家組合，以更高效地處理復(fù)雜的多模態(tài)數(shù)據(jù)。
• 標(biāo)記化處理：BAGEL將輸入的多模態(tài)數(shù)據(jù)（包括圖像和文本）轉(zhuǎn)化為一系列標(biāo)記。例如，圖像被分割成多個小塊（Patch），文本中的每個單詞或子詞也視為一個標(biāo)記。
• 預(yù)測任務(wù)：模型的訓(xùn)練目標(biāo)是預(yù)測下一個標(biāo)記組，通過觀察部分標(biāo)記序列，嘗試預(yù)測后續(xù)標(biāo)記。
• 壓縮與學(xué)習(xí)：這一預(yù)測任務(wù)促使模型學(xué)習(xí)多模態(tài)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)與關(guān)系，提升其對多模態(tài)數(shù)據(jù)的理解和生成能力。
• 海量數(shù)據(jù)：BAGEL的訓(xùn)練使用了來自語言、圖像、視頻和網(wǎng)絡(luò)數(shù)據(jù)的數(shù)萬億個多模態(tài)標(biāo)記，以覆蓋各種場景和領(lǐng)域，學(xué)習(xí)廣泛的多模態(tài)特征。
• 優(yōu)化策略：在訓(xùn)練過程中，BAGEL應(yīng)用了先進(jìn)的優(yōu)化策略，如混合精度訓(xùn)練和分布式訓(xùn)練，以提升訓(xùn)練效率和模型性能。

BAGEL的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://bagel-ai.org/
• Github倉庫：https://github.com/bytedance-seed/BAGEL
• HuggingFace模型庫：https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.14683

BAGEL的應(yīng)用場景

• 內(nèi)容創(chuàng)作與編輯：用戶可通過文本描述生成高質(zhì)量圖像，同時對已有圖像進(jìn)行編輯和修改。
• 三維場景生成：BAGEL能夠創(chuàng)造三維場景，為虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用提供豐富的視覺內(nèi)容。
• 可視化學(xué)習(xí)：BAGEL能夠?qū)?fù)雜概念以圖像或視頻形式展示，幫助學(xué)生提高理解能力。
• 創(chuàng)意廣告生成：廣告商可利用BAGEL生成吸引人的廣告圖像和視頻，例如根據(jù)產(chǎn)品特點(diǎn)制作創(chuàng)意廣告海報或短視頻。
• 用戶交互體驗(yàn)：在電商平臺上，BAGEL可生成產(chǎn)品的3D模型和虛擬展示，提升用戶的購物體驗(yàn)。

常見問題

• BAGEL是否適合所有行業(yè)應(yīng)用？：BAGEL因其強(qiáng)大的多模態(tài)理解能力，適用于創(chuàng)意、教育、廣告、虛擬現(xiàn)實(shí)等多個行業(yè)。
• 如何獲取BAGEL？：用戶可以通過訪問BAGEL的官網(wǎng)或Github倉庫獲取模型和相關(guān)資料。
• BAGEL支持哪些語言？：BAGEL支持多種語言的文本輸入，適應(yīng)全球用戶需求。
• 模型的運(yùn)行要求是什么？：BAGEL需要一定的計(jì)算資源，具體要求可參考項(xiàng)目文檔。
• 如何進(jìn)行模型的定制化？：用戶可以根據(jù)自己的需求對BAGEL進(jìn)行微調(diào)，具體方法可查閱相關(guān)文檔。