AIGC動態歡迎閱讀

原標題：蘋果極致LLM端側方案：LLM in a flash
關鍵字：神經元,參數,知乎,侵權,加載
文章來源：算法邦
內容字數：11197字

內容摘要：

700個開發硬件免費申請?現金大獎！生成式 AI、機器人 AI、PC AI 三大賽道！AMD Pervasive AI 開發者挑戰賽報名火熱進行中，掃碼了解詳情并報名～導讀本文是知乎作者Civ對蘋果端側方案：LLM in a flash工作的整理總結，文內主要介紹了蘋果如何從三個不同方面，利用閃存來解決大模型塞進手機時遇到的內存不足的問題。
原文地址：
https://zhuanlan.zhihu.com/p/673775476
本文只做學術分享，如有侵權，聯系刪文。端側LLM毫無疑問會成為各手機廠商在2024年的主戰場。從國內各手機廠透露的信息來看，大家幾乎都把希望寄托在了芯片廠身上，自身能做的、會做的工作太少。希望蘋果的工作對國內廠商們有啟發、借鑒意義。
論文鏈接：LLM in a flash: Efficient Large Language Model Inference with Limited Memory
01Flash Memory and DRAM在移動端設備中（如手機），DRAM可理解為“運行時內存”，Flash Memory可理解為“存儲空間”。做一個簡單的類比，

原文鏈接：蘋果極致LLM端側方案：LLM in a flash

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接青年AI學者，講解研究成果，分享系統思考。