Google AI Edge Gallery

Google AI Edge Gallery – 谷歌推出的AI應用，支持手機端離線運行AI模型

Google AI Edge Gallery 是一款由谷歌推出的創新實驗性應用，旨在讓用戶在本地設備上體驗和使用機器學習（ML）及生成式人工智能（GenAI）模型。該應用目前專為 Android 設備設計，無需網絡連接即可運行，提供圖像問答、文本生成、多輪對話等功能，并實時展示性能指標。它同時為開發者提供了豐富的資源和工具，助力探索設備端 AI 的強大潛力。

### Google AI Edge Gallery：開啟設備端 AI 新紀元

Google AI Edge Gallery 是一個前沿的實驗性應用，它引領用戶進入設備端人工智能的嶄新世界。這款應用的核心在于，讓用戶能夠在本地設備上直接體驗和使用強大的機器學習（ML）及生成式人工智能（GenAI）模型，無需依賴網絡連接。用戶可以切換不同的模型，進行諸如圖像問答、文本創作、多輪對話等多種操作，并可以實時監控各項關鍵性能指標。此外，Google AI Edge Gallery 還為開發者提供了豐富的資源和工具，助力他們探索設備端 AI 的無限可能。

### 核心功能一覽

離線暢玩：完全擺脫網絡束縛，所有處理均在本地設備上完成。
模型隨心換：輕松切換Hugging Face上的各種模型，比較不同模型的表現。
圖像問答：上傳圖片，提出問題，獲取詳細描述、解決問題或識別物體。
提示詞實驗室：總結、改寫、生成代碼，或者使用形式的提示詞探索單輪對話 LLM 的應用。
AI ：與 AI 進行多輪對話，體驗智能交互的樂趣。
性能一目了然：實時查看基準測試結果，如首次響應時間、解碼速度和延遲等。
自帶模型測試：測試本地 LiteRT .task 模型。
開發者福利：快速鏈接到模型卡和源代碼，方便開發者深入研究。

### 技術基石

Google AI Edge：作為設備端機器學習的核心框架，Google AI Edge 提供一系列 API 和工具，助力在移動設備上高效運行機器學習模型。
LiteRT：這是一個輕量級的運行時環境，專門用于優化模型的執行效率。它基于高效的內存管理和計算優化，確保模型在移動設備上快速運行，同時最大限度地減少對設備資源的占用。LiteRT 支持多種模型格式，包括 TensorFlow Lite 和 ONNX。
LLM 推理 API：支持設備端大型語言模型（LLM）推理的接口，讓應用能夠在本地設備上運行復雜的語言模型，如 GPT 或其他基于Transformer架構的模型，無需依賴云端服務。
Hugging Face 集成：無縫集成 Hugging Face 的模型庫，用戶可以輕松地發現和下載各種預訓練模型。Hugging Face 提供了豐富的模型資源，涵蓋從自然語言處理到計算機視覺等多個領域。通過集成，用戶可以直接在 Gallery 中使用模型，無需手動下載和配置。

### 官方網站