AIGC動態(tài)歡迎閱讀

原標(biāo)題：手機(jī)、PC輕松跑大模型！谷歌發(fā)最新API，28億參數(shù)模型本地跑
關(guān)鍵字：模型,權(quán)重,設(shè)備,操作,卷積
文章來源：智東西
內(nèi)容字?jǐn)?shù)：5737字

內(nèi)容摘要：

安卓霸主出手！讓大模型輕松跑在手機(jī)上，四大模型可用。
編譯|李水青
編輯|云鵬
智東西3月8日報(bào)道，昨晚，谷歌正式發(fā)布了MediaPipe LLM Inference API，該API可以讓開發(fā)人員更便捷地在手機(jī)、PC等設(shè)備上運(yùn)行AI大模型，而AI大模型也可以在不同類型的設(shè)備上跨設(shè)備運(yùn)行。
谷歌對跨設(shè)備堆棧進(jìn)行了重點(diǎn)優(yōu)化，包括新的操作、量化、緩存和權(quán)重共享等。谷歌稱，MediaPipe已經(jīng)支持了四種模型：Gemma、Phi 2、Falcon和Stable LM，這些模型可以在網(wǎng)頁、安卓、iOS設(shè)備上運(yùn)行，谷歌還計(jì)劃將這一功能擴(kuò)展到更多平臺上。
在安卓上，MediaPipe LLM Inference API僅用于實(shí)驗(yàn)和研究，生產(chǎn)應(yīng)用可以通過安卓AICore在設(shè)備上使用Gemini API或Gemini Nano。
這里有一些實(shí)時(shí)的Gemma 2B通過MediaPipe LLM Inference API運(yùn)行的動圖展示。
▲Gemma-2B在iOS（左）和安卓（右）設(shè)備上運(yùn)行
▲Gemma-2B在設(shè)備上的瀏覽器中運(yùn)行
GitHub地址：https://github.com/googles

原文鏈接：手機(jī)、PC輕松跑大模型！谷歌發(fā)最新API，28億參數(shù)模型本地跑

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級。