<button id="gemao"></button><button id="gemao"></button>

BAGEL

AI工具2個月前更新 AI工具集

5 0 0

BAGEL – 字節跳動開源的多模態基礎模型

BAGEL

BAGEL是字節跳動推出的一款開源多模態基礎模型，具備140億個參數，其中70億為活躍參數。該模型采用了混合變換器專家架構（MoT），通過兩個的編碼器分別提取圖像的像素級和語義級特征。BAGEL遵循“下一個標記組預測”的訓練方式，使用大量多模態標記數據進行預訓練，包括語言、圖像、視頻和網絡信息。在多模態理解基準測試中，BAGEL的性能超過了Qwen2.5-VL和InternVL-2.5等頂尖的開源視覺語言模型，文本到圖像生成的質量與SD3相當，并在圖像編輯方面表現優于許多同類模型。BAGEL支持形式的圖像編輯、未來幀預測、三維操作及世界導航等多種任務。

BAGEL是什么

BAGEL是字節跳動開發的多模態基礎模型，擁有140億個參數，其中70億個為活躍參數。通過混合變換器專家架構（MoT），BAGEL使用兩個編碼器來捕捉圖像的像素和語義特征。該模型遵循“下一個標記組預測”的訓練模式，利用海量多模態標記數據進行預訓練，涵蓋語言、圖像、視頻和網絡內容。在性能方面，BAGEL在多模態理解基準測試中超越了許多頂級開源視覺語言模型，且在文本到圖像生成和圖像編輯方面表現卓越，能夠完成如形式的圖像編輯、未來幀預測和三維場景操作等多樣化任務。

BAGEL的主要功能

圖像與文本融合理解：BAGEL能夠深入解析圖像與文本之間的關系，精準結合圖像內容與文本描述。
視頻內容解析：BAGEL可處理視頻數據，理解動態信息并分析語義內容。
文本轉圖像生成：用戶輸入文本描述后，BAGEL可以生成與之相符的高質量圖像。
圖像編輯與調整：BAGEL支持對現有圖像進行編輯，根據指令生成修改后的圖像，滿足形式編輯需求。
視頻幀預測：BAGEL能夠預測視頻中的未來幀，基于前幾幀生成后續內容，完整恢復視頻信息。
三維場景理解與操作：BAGEL理解和操作三維場景，可識別、定位和操作三維物體，在虛擬環境中移動物體或改變屬性。
世界導航：BAGEL具備在虛擬或現實三維環境中進行路徑規劃與導航的能力。
跨模態檢索：BAGEL實現跨模態檢索功能，根據文本描述檢索匹配的圖像或視頻，反之亦然。
多模態融合任務：在多模態融合任務中，BAGEL能夠有效整合來自不同模態的數據（如圖像、文本、語音等），生成綜合結果。

BAGEL的技術原理

雙編碼器架構：BAGEL采用混合變換器專家架構（MoT），其中包含兩個編碼器，分別處理圖像的像素級特征和語義特征，從而同時捕捉低層次細節和高層次語義信息。
專家混合機制：MoT架構內的多個專家模塊負責處理特定類型的特征或任務，訓練過程中動態選擇最合適的專家組合，以更高效地處理復雜的多模態數據。
標記化處理：BAGEL將輸入的多模態數據（包括圖像和文本）轉化為一系列標記。例如，圖像被分割成多個小塊（Patch），文本中的每個單詞或子詞也視為一個標記。
預測任務：模型的訓練目標是預測下一個標記組，通過觀察部分標記序列，嘗試預測后續標記。
壓縮與學習：這一預測任務促使模型學習多模態數據的內在結構與關系，提升其對多模態數據的理解和生成能力。
海量數據：BAGEL的訓練使用了來自語言、圖像、視頻和網絡數據的數萬億個多模態標記，以覆蓋各種場景和領域，學習廣泛的多模態特征。
優化策略：在訓練過程中，BAGEL應用了先進的優化策略，如混合精度訓練和分布式訓練，以提升訓練效率和模型性能。