手機、PC輕松跑大模型！谷歌發(fā)最新API，28億參數(shù)模型本地跑

AIGC動態(tài)歡迎閱讀

原標題：手機、PC輕松跑大模型！谷歌發(fā)最新API，28億參數(shù)模型本地跑
關鍵字：模型,權重,設備,操作,卷積
文章來源：智東西
內(nèi)容字數(shù)：5737字

內(nèi)容摘要：

安卓霸主出手！讓大模型輕松跑在手機上，四大模型可用。
編譯|李水青
編輯|云鵬
智東西3月8日報道，昨晚，谷歌正式發(fā)布了MediaPipe LLM Inference API，該API可以讓開發(fā)人員更便捷地在手機、PC等設備上運行AI大模型，而AI大模型也可以在不同類型的設備上跨設備運行。
谷歌對跨設備堆棧進行了重點優(yōu)化，包括新的操作、量化、緩存和權重共享等。谷歌稱，MediaPipe已經(jīng)支持了四種模型：Gemma、Phi 2、Falcon和Stable LM，這些模型可以在網(wǎng)頁、安卓、iOS設備上運行，谷歌還計劃將這一功能擴展到更多平臺上。
在安卓上，MediaPipe LLM Inference API僅用于實驗和研究，生產(chǎn)應用可以通過安卓AICore在設備上使用Gemini API或Gemini Nano。
這里有一些實時的Gemma 2B通過MediaPipe LLM Inference API運行的動圖展示。
▲Gemma-2B在iOS（左）和安卓（右）設備上運行
▲Gemma-2B在設備上的瀏覽器中運行
GitHub地址：https://github.com/googles

原文鏈接：手機、PC輕松跑大模型！谷歌發(fā)最新API，28億參數(shù)模型本地跑

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報道人工智能主導的前沿技術發(fā)展，和技術應用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務產(chǎn)業(yè)升級。