在解決了「能或不能」的問題之后，推理成本是大語言模型落地最后最關(guān)鍵的挑戰(zhàn)

原標(biāo)題：英特爾至強(qiáng)6獨(dú)享MRDIMM，內(nèi)存帶寬飆升，加速推理達(dá)2.4倍！
文章來源：新智元
內(nèi)容字?jǐn)?shù)：7605字

英特爾至強(qiáng)6性能核處理器：內(nèi)存帶寬升級(jí)與大模型推理

本文總結(jié)了新智元報(bào)道中關(guān)于英特爾至強(qiáng)6性能核處理器（特別是6980P和6972P型號(hào)）的關(guān)鍵信息，重點(diǎn)關(guān)注其內(nèi)存帶寬提升對(duì)大語言模型推理性能的影響。

1. 架構(gòu)分析與內(nèi)核數(shù)量

   文章推測(cè)至強(qiáng)6性能核處理器的芯片布局更接近5×10，而非之前的預(yù)測(cè)5×9。每個(gè)芯片約有44個(gè)內(nèi)核，通過屏蔽少量?jī)?nèi)核構(gòu)成不同的型號(hào)，例如128核的6980P。值得注意的是，內(nèi)存控制器區(qū)域比預(yù)期大得多，占據(jù)6個(gè)網(wǎng)格，這引發(fā)了關(guān)于其額外功能（例如MRDIMM支持）的猜測(cè)。

2. NUMA與集群模式

   至強(qiáng)6性能核處理器支持不同的NUMA（非統(tǒng)一內(nèi)存訪問）模式，包括SNC3 Mode（每個(gè)計(jì)算單元芯片作為一個(gè)SNC）和HEX Mode（訪問所有內(nèi)存）。SNC3 Mode是默認(rèn)模式，適合虛擬化、容器化應(yīng)用和并行計(jì)算；HEX Mode則更適合大型數(shù)據(jù)庫、部分科學(xué)計(jì)算和CXL內(nèi)存擴(kuò)展場(chǎng)景。不同模式的內(nèi)存訪問時(shí)延差異較大，與內(nèi)核和內(nèi)存控制器之間的距離相關(guān)。

3. MRDIMM：內(nèi)存帶寬的顯著提升

   至強(qiáng)6性能核處理器獨(dú)占性地支持MRDIMM（多路復(fù)用數(shù)據(jù)緩沖器），大幅提升內(nèi)存帶寬。MRDIMM通過多路復(fù)用數(shù)據(jù)緩沖器（MDB）和改進(jìn)的寄存時(shí)鐘驅(qū)動(dòng)器（MRCD）實(shí)現(xiàn)帶寬翻倍。更高的內(nèi)存容量（例如使用256GB MRDIMM）也進(jìn)一步增強(qiáng)了其優(yōu)勢(shì)，尤其利好AI訓(xùn)練和大型數(shù)據(jù)庫應(yīng)用。雖然輕量級(jí)應(yīng)用可能無法充分利用MRDIMM的帶寬提升，但對(duì)于計(jì)算密集型應(yīng)用（如加密、科學(xué)計(jì)算、AI訓(xùn)練和推理）則有顯著益處。

4. 內(nèi)存帶寬與大模型推理

   文章指出，大語言模型推理對(duì)內(nèi)存帶寬的需求非常高。在測(cè)試中，大語言模型推理性能提升超過30%，而傳統(tǒng)推理任務(wù)的提升較小。以Llama3 8B模型為例，至強(qiáng)6972P（96核）的推理性能是至強(qiáng)8592+（64核）的2.4倍以上，這主要?dú)w功于內(nèi)存帶寬的顯著提升（約為2.4倍），而非單純的內(nèi)核數(shù)量增加。在算力非瓶頸的情況下，內(nèi)存容量和帶寬決定了模型規(guī)模上限和token輸出上限。

5. 結(jié)語：推理成本的挑戰(zhàn)與解決方案

   至強(qiáng)6性能核處理器結(jié)合MRDIMM，在內(nèi)存帶寬和容量方面取得了顯著進(jìn)步，這對(duì)于大語言模型推理等應(yīng)用至關(guān)重要。在解決了“能或不能”的問題后，推理成本成為大語言模型落地的關(guān)鍵挑戰(zhàn)。至強(qiáng)6性能核處理器配MRDIMM的組合，為降低推理成本提供了新的思路，并為科學(xué)計(jì)算、大型數(shù)據(jù)庫等傳統(tǒng)重負(fù)荷領(lǐng)域帶來了顯著益處。CXL內(nèi)存擴(kuò)展技術(shù)更能進(jìn)一步提升性能。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。