蘋(píng)果與英偉達(dá)合作提高大模型推理效率。

原標(biāo)題：蘋(píng)果正在與英偉達(dá)合作，想讓 AI 的響應(yīng)速度更快
文章來(lái)源：愛(ài)范兒
內(nèi)容字?jǐn)?shù)：3184字

蘋(píng)果與英偉達(dá)合作加速大模型推理性能

近日，蘋(píng)果與英偉達(dá)宣布了一項(xiàng)合作，旨在提升大語(yǔ)言模型（LLM）的推理性能。這一合作的核心是蘋(píng)果開(kāi)源的「ReDrafter」技術(shù)，旨在解決傳統(tǒng)自回歸 LLM 在推理效率和內(nèi)存帶寬方面的不足。

1. ReDrafter 的核心技術(shù)

ReDrafter 通過(guò)三項(xiàng)關(guān)鍵技術(shù)提升推理速度：

• RNN 草稿模型： 該模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）預(yù)測(cè)可能的 tokens 序列，能夠捕捉局部時(shí)間依賴性，提高預(yù)測(cè)準(zhǔn)確性。
• 動(dòng)態(tài)樹(shù)注意力算法： 該算法優(yōu)化束搜索的候選序列，識(shí)別共享前綴，減少需要驗(yàn)證的 tokens 數(shù)量，從而提高計(jì)算資源的利用效率。
• 知識(shí)蒸餾訓(xùn)練： 通過(guò)將大型 LLM 的知識(shí)轉(zhuǎn)移到更小的 RNN 草稿模型，提升了推理的準(zhǔn)確性和效率。

2. 推理速度的顯著提升

蘋(píng)果的基準(zhǔn)測(cè)試結(jié)果顯示，集成 ReDrafter 的 TensorRT-LLM 在 NVIDIA H100 GPU 上的貪心解碼速度提高了 2.7 倍，而在 M2 Ultra Metal GPU 上也實(shí)現(xiàn)了 2.3 倍的加速。這一提升不僅降低了計(jì)算成本，還減少了用戶端的延遲。

3. 面向更廣泛的應(yīng)用

ReDrafter 的技術(shù)具有較小的 GPU 資源需求，能夠在資源受限的環(huán)境中高效運(yùn)行，為 LLM 在多種硬件平臺(tái)的應(yīng)用提供了新的可能性。蘋(píng)果已將這一技術(shù)開(kāi)源，未來(lái)其他公司也可能從中獲益。

總之，蘋(píng)果與英偉達(dá)的合作和 ReDrafter 的推出標(biāo)志著大語(yǔ)言模型推理技術(shù)的一個(gè)重要進(jìn)步，有助于推動(dòng)生產(chǎn)應(yīng)用程序的高效性和可用性。

聯(lián)系作者

文章來(lái)源：愛(ài)范兒
作者微信：
作者簡(jiǎn)介：關(guān)注明日產(chǎn)品的數(shù)字潮牌