26年前老年機跑Llama2，每秒39個token：你的AI PC，也可以是Windows 98

最老 AI PC。

原標題：26年前老年機跑Llama2，每秒39個token：你的AI PC，也可以是Windows 98
文章來源：機器之心
內容字數：6153字

EXO Labs：讓Llama 2在26年前的Windows 98上運行

EXO Labs，一個由牛津大學研究人員和工程師組成的組織，成功地將Llama 2大型語言模型運行在26年前的Windows 98 Pentium II電腦上，輸出速度達到39.31 tok/秒。這展示了其“讓人工智能普及大眾”的雄心壯志，旨在打破少數大公司對AI的壟斷。

1. 大膽嘗試：古老硬件上的AI奇跡

該項目使用一臺配備128MB內存和350MHz英特爾奔騰II CPU的Elonex電腦。EXO Labs選擇Andrej Karpathy開發的llama2.c項目，這是一個純C語言的推理引擎，并使用Borland C++ 5.02編譯器進行編譯。視頻展示了該系統成功生成關于“Sleepy Joe”的故事，證明了在極其有限的硬件資源下運行大型語言模型的可行性。

2. 克服重重挑戰：從文件傳輸到代碼編譯

項目過程中面臨諸多挑戰。文件傳輸方面，由于舊電腦硬件限制，現代解決方案均告失敗，最終依靠古老的FTP協議通過以太網端口傳輸模型權重和代碼。編譯方面，現代編譯器無法兼容Windows 98，最終采用Borland C++ 5.02編譯器，并對llama2.c代碼進行調整，例如替換數據類型和變量聲明位置等，使其兼容舊版C語言。

3. 技術細節：代碼調整和性能優化

為了在奔騰II上運行，EXO Labs對llama2.c代碼進行了修改，包括使用“DLONGWORD”代替“long long”，將變量聲明移動到函數起始處，簡化內存加載方式以及修復時間戳問題。修改后的代碼已開源，方便其他研究者參考。

4. 未來展望：BitNet和舊硬件AI

EXO Labs認為，BitNet架構是AI未來的方向。BitNet使用三元權重（0，-1，1），極大地減少了模型大小和計算量，使其能夠在低端硬件上高效運行。他們已經開展了BitNet相關的研究，并計劃在2025年訓練一個大型三元模型。EXO Labs鼓勵更多人參與到在舊硬件上運行AI模型的研究中，探索優化內存使用和開發新架構等方向，最終實現AI的真正普及。

5. 項目意義：AI化的重要一步

EXO Labs的這項工作證明了即使在26年前的硬件上也能運行先進的AI模型，這對于AI化具有重要意義。它打破了對高端硬件的依賴，讓更多人有機會參與AI研究和應用，推動AI技術發展走向更加公平、開放的未來。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺