26年前老年機跑Llama2，每秒39個token：你的AI PC，也可以是Windows 98

最老 AI PC。

原標(biāo)題：26年前老年機跑Llama2，每秒39個token：你的AI PC，也可以是Windows 98
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：6153字

EXO Labs：讓Llama 2在26年前的Windows 98上運行

EXO Labs，一個由牛津大學(xué)研究人員和工程師組成的組織，成功地將Llama 2大型語言模型運行在26年前的Windows 98 Pentium II電腦上，輸出速度達(dá)到39.31 tok/秒。這展示了其“讓人工智能普及大眾”的雄心壯志，旨在打破少數(shù)大公司對AI的壟斷。

1. 大膽嘗試：古老硬件上的AI奇跡

該項目使用一臺配備128MB內(nèi)存和350MHz英特爾奔騰II CPU的Elonex電腦。EXO Labs選擇Andrej Karpathy開發(fā)的llama2.c項目，這是一個純C語言的推理引擎，并使用Borland C++ 5.02編譯器進行編譯。視頻展示了該系統(tǒng)成功生成關(guān)于“Sleepy Joe”的故事，證明了在極其有限的硬件資源下運行大型語言模型的可行性。

2. 克服重重挑戰(zhàn)：從文件傳輸?shù)酱a編譯

項目過程中面臨諸多挑戰(zhàn)。文件傳輸方面，由于舊電腦硬件限制，現(xiàn)代解決方案均告失敗，最終依靠古老的FTP協(xié)議通過以太網(wǎng)端口傳輸模型權(quán)重和代碼。編譯方面，現(xiàn)代編譯器無法兼容Windows 98，最終采用Borland C++ 5.02編譯器，并對llama2.c代碼進行調(diào)整，例如替換數(shù)據(jù)類型和變量聲明位置等，使其兼容舊版C語言。

3. 技術(shù)細(xì)節(jié)：代碼調(diào)整和性能優(yōu)化

為了在奔騰II上運行，EXO Labs對llama2.c代碼進行了修改，包括使用“DLONGWORD”代替“l(fā)ong long”，將變量聲明移動到函數(shù)起始處，簡化內(nèi)存加載方式以及修復(fù)時間戳問題。修改后的代碼已開源，方便其他研究者參考。

4. 未來展望：BitNet和舊硬件AI

EXO Labs認(rèn)為，BitNet架構(gòu)是AI未來的方向。BitNet使用三元權(quán)重（0，-1，1），極大地減少了模型大小和計算量，使其能夠在低端硬件上高效運行。他們已經(jīng)開展了BitNet相關(guān)的研究，并計劃在2025年訓(xùn)練一個大型三元模型。EXO Labs鼓勵更多人參與到在舊硬件上運行AI模型的研究中，探索優(yōu)化內(nèi)存使用和開發(fā)新架構(gòu)等方向，最終實現(xiàn)AI的真正普及。

5. 項目意義：AI化的重要一步

EXO Labs的這項工作證明了即使在26年前的硬件上也能運行先進的AI模型，這對于AI化具有重要意義。它打破了對高端硬件的依賴，讓更多人有機會參與AI研究和應(yīng)用，推動AI技術(shù)發(fā)展走向更加公平、開放的未來。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺