LOKI是由中山大學與上海AI Lab共同開發的合成數據檢測基準，專注于全面評估大型多模態模型（LMMs）在識別視頻、圖像、3D模型、文本和音頻等多種模態合成數據的能力。該基準包含超過18,000個問題，涵蓋26個子類別，采用多層次標注并支持細粒度的異常注釋。

LOKI是什么

LOKI是由中山大學和上海AI Lab聯合提出的合成數據檢測基準，旨在全面評估大型多模態模型（LMMs）在識別視頻、圖像、3D模型、文本和音頻等多種模態合成數據的能力。該基準包含超過18,000個問題，覆蓋26個子類別，采用多層次標注，支持細粒度異常注釋。LOKI考察模型的感知與推理能力，并通過自然語言解釋增強模型的可理解性。通過對22個開源和6個閉源的LMMs進行評估，LOKI揭示了這些模型在合成數據檢測任務中的潛力與局限性。

LOKI的主要功能

• 多模態數據檢測：評估LMMs在識別合成的視頻、圖像、3D模型、文本和音頻數據方面的能力。
• 細粒度異常注釋：提供詳盡的異常注釋，支持對合成數據的深入分析與理解。
• 多層次標注：包括基本的“合成或真實”標簽，適用于基礎問題設置，及更復雜的異常細節選擇與解釋任務。
• 全面評估框架：支持多種數據格式輸入，如視頻、圖像、文本、音頻和點云，統一超過25種主流LMMs的API。
• 性能比較：支持對不同LMMs進行比較，包括開源和閉源模型，以及專家合成檢測模型。
• 可解釋：通過要求模型提供自然語言解釋，測試LMMs在合成數據檢測任務中的可解釋性。
• 數據多樣性：收集多種類型的合成數據，包括專業領域數據，如衛星圖像和醫學圖像，環境音和音樂等音頻數據。
• 問題難度分級：根據人類評估指標對問題進行難度分級，測試LMMs在不同難度水平上的表現。
• 模型偏差分析：通過計算模型的偏差指數，分析模型在合成數據檢測任務中的偏差與傾向性。

• 促進AI發展：推動更強大、更可解釋的合成數據檢測方法的發展，以應對AI合成技術帶來的挑戰。

LOKI的技術原理

• 數據收集與合成：LOKI收集了視頻、圖像、3D模型、文本和音頻等多種模態的數據，這些數據部分來自公開數據集，部分通過最新的合成模型生成。
• 多模態評估框架：LOKI構建了一個全面的多模態評估框架，支持多種數據格式的輸入，統一多種主流LMMs的API，在統一的標準下評估不同模型的性能。
• 模型評估與比較：LOKI基準測試涵蓋了多個開源和閉源的LMMs評估。通過比較這些模型在合成數據檢測任務上的表現，可以分析它們的性能與局限性。
• 自然語言解釋：LOKI要求模型提供自然語言解釋，增強模型的可解釋性。測試模型的檢測能力，評估模型解釋其判斷的理由。

LOKI的項目地址

• 項目官網：opendatalab.github.io/LOKI
• Github倉庫：https://github.com/opendatalab/LOKI
• arXiv技術論文：https://arxiv.org/pdf/2410.09732

LOKI的應用場景

• 人工智能安全性評估：LOKI可以用于評估和提高AI系統在處理合成數據時的安全性與魯棒性，確保AI系統在面對潛在的合成數據攻擊時能準確識別并做出正確響應。
• 內容審核：在社交媒體、新聞網站和其他內容平臺，LOKI可以幫助檢測和過濾由AI生成的假新聞、深度偽造（deepfakes）視頻或音頻，保護用戶免受誤導。
• 數據集驗證：在機器學習模型訓練過程中，LOKI可以用于驗證數據集的質量和真實性，確保訓練數據中不包含過多的合成數據，從而提高模型的泛化能力。
• 法律和合規性：在法律領域，LOKI可以幫助識別和處理與合成數據相關的版權、隱私和合規性問題，例如，檢測和防止未經授權的內容生成和分發。
• 媒體和娛樂：在電影、游戲和虛擬現實制作中，LOKI可以用于評估和改進合成媒體內容的質量，確保生成的內容既真實又符合創作者的意圖。