WebLI-100B

WebLI-100B – 谷歌 DeepMind 推出的1000億視覺語言數據集

WebLI-100B是由Google DeepMind推出的一個規模空前的數據集，包含1000億對圖像與文本。這一超大規模數據集專為視覺語言模型（VLMs）的預訓練而設計，是WebLI數據集的擴展版本，基于從網絡中大量收集的圖像及其相關標題或頁面標題構建而成。WebLI-100B的龐大規模是以往最大視覺語言數據集的十倍，極大提高了模型對長尾概念、文化多樣性和多語言內容的理解能力。

WebLI-100B是什么

WebLI-100B是Google DeepMind推出的一個包含1000億圖像-文本對的超大規模數據集，旨在為視覺語言模型（VLMs）的預訓練提供豐富的數據資源。作為WebLI數據集的擴展版本，WebLI-100B基于從網絡收集的海量圖像及其對應的標題或頁面標題構建而成。這一數據集的規模是之前最大的視覺語言數據集的十倍，顯著提升了模型對各種長尾概念、文化多樣性和多語言內容的理解能力。構建過程中，研究者僅進行了基本的數據過濾，以保留盡可能多的語言和文化多樣性。WebLI-100B的發布為訓練更具包容性的多模態模型奠定了重要基礎。

WebLI-100B

WebLI-100B的主要功能

支持大規模預訓練：WebLI-100B提供豐富的1000億圖像-文本對，為視覺語言模型的預訓練提供了強大的數據支持，顯著提升了模型在多種任務上的表現。
提升文化多樣性：該數據集包含來自不同文化背景的圖像與文本，幫助模型更好地理解和生成與各類文化相關的視覺與語言內容。
增強多語言能力：數據集中包含多種語言的文本，有助于提高模型在低資源語言上的表現，推動多語言任務的開發和應用。
支持多模態任務：WebLI-100B為圖像分類、圖像描述生成、視覺問答等多種多模態任務提供了強大的數據支持。

WebLI-100B的技術原理

數據收集：
- 來源：WebLI-100B的數據主要通過大規模網絡從互聯網收集，獲取圖像及其對應的文本描述（如圖像的alt文本或頁面標題）。
- 規模：這一數據集包含1000億個圖像-文本對，堪稱目前最大的視覺語言數據集之一。
數據過濾：
- 基本過濾：為了確保數據的質量與多樣性，WebLI-100B進行了基本的數據過濾，移除了有害圖像和個人身份信息（PII），以盡可能保留多樣的語言與文化。
- 質量過濾（可選）：研究中探討了使用CLIP等模型進行數據過濾的可能性，以提升數據質量，但這種方法可能會影響某些文化背景的代表性。
數據處理：
- 文本處理：將圖像的alt文本和頁面標題作為配對文本，采用多語言mt5分詞器進行分詞處理，以確保文本數據的多樣性與一致性。
- 圖像處理：將圖像調整為224×224像素的分辨率，以符合模型的輸入要求。