手機、PC輕松跑大模型！谷歌發最新API，28億參數模型本地跑

AIGC動態歡迎閱讀

原標題：手機、PC輕松跑大模型！谷歌發最新API，28億參數模型本地跑
關鍵字：模型,權重,設備,操作,卷積
文章來源：智東西
內容字數：5737字

內容摘要：

安卓霸主出手！讓大模型輕松跑在手機上，四大模型可用。
編譯|李水青
編輯|云鵬
智東西3月8日報道，昨晚，谷歌正式發布了MediaPipe LLM Inference API，該API可以讓開發人員更便捷地在手機、PC等設備上運行AI大模型，而AI大模型也可以在不同類型的設備上跨設備運行。
谷歌對跨設備堆棧進行了重點優化，包括新的操作、量化、緩存和權重共享等。谷歌稱，MediaPipe已經支持了四種模型：Gemma、Phi 2、Falcon和Stable LM，這些模型可以在網頁、安卓、iOS設備上運行，谷歌還計劃將這一功能擴展到更多平臺上。
在安卓上，MediaPipe LLM Inference API僅用于實驗和研究，生產應用可以通過安卓AICore在設備上使用Gemini API或Gemini Nano。
這里有一些實時的Gemma 2B通過MediaPipe LLM Inference API運行的動圖展示。
▲Gemma-2B在iOS（左）和安卓（右）設備上運行
▲Gemma-2B在設備上的瀏覽器中運行
GitHub地址：https://github.com/googles

原文鏈接：手機、PC輕松跑大模型！谷歌發最新API，28億參數模型本地跑

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。