電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?

AIGC動態歡迎閱讀

原標題：電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?
關鍵字：設備,框架,模型,集群,作者
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI不用H100，三臺蘋果電腦就能帶動400B大模型。
背后的功臣，是GitHub上的一個開源分布式AI推理框架，已經斬獲了2.5k星標。
利用這個框架，幾分鐘就能用iPhone、iPad等日常設備構建出自己的AI算力集群。
這個框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的連接方式，將設備接入網絡即可自動加入集群。
開發者使用exo框架連接了兩臺MacBook Pro和一臺Mac Studio，運算速度達到了110TFLOPS。
同時這位開發者表示，已經準備好迎接即將到來的Llama3-405B了。
exo官方也放話稱，將在第一時間（day 0）提供對Llama3-405B的支持。
而且不只是電腦，exo可以讓iPhone、iPad等設備也加入本地算力網絡，甚至Apple Watch也同樣能夠吸納。
隨著版本的迭代，exo框架也不再是蘋果限定（起初只支持MLX），有人把安卓手機和4090顯卡也拉進了集群。
最快60秒完成配置與其他分布式推理框架不同，exo不使用master-worker架構，而是點對點（p2p）地將設備進

原文鏈接：電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?

聯系作者

文章來源：量子位
作者微信：
作者簡介：