蘋果與英偉達合作提高大模型推理效率。

原標題：蘋果正在與英偉達合作，想讓 AI 的響應速度更快
文章來源：愛范兒
內容字數：3184字

蘋果與英偉達合作加速大模型推理性能

近日，蘋果與英偉達宣布了一項合作，旨在提升大語言模型（LLM）的推理性能。這一合作的核心是蘋果開源的「ReDrafter」技術，旨在解決傳統自回歸 LLM 在推理效率和內存帶寬方面的不足。

1. ReDrafter 的核心技術

ReDrafter 通過三項關鍵技術提升推理速度：

• RNN 草稿模型： 該模型利用循環神經網絡（RNN）預測可能的 tokens 序列，能夠捕捉局部時間依賴性，提高預測準確性。
• 動態樹注意力算法： 該算法優化束搜索的候選序列，識別共享前綴，減少需要驗證的 tokens 數量，從而提高計算資源的利用效率。
• 知識蒸餾訓練： 通過將大型 LLM 的知識轉移到更小的 RNN 草稿模型，提升了推理的準確性和效率。

2. 推理速度的顯著提升

蘋果的基準測試結果顯示，集成 ReDrafter 的 TensorRT-LLM 在 NVIDIA H100 GPU 上的貪心解碼速度提高了 2.7 倍，而在 M2 Ultra Metal GPU 上也實現了 2.3 倍的加速。這一提升不僅降低了計算成本，還減少了用戶端的延遲。

3. 面向更廣泛的應用

ReDrafter 的技術具有較小的 GPU 資源需求，能夠在資源受限的環境中高效運行，為 LLM 在多種硬件平臺的應用提供了新的可能性。蘋果已將這一技術開源，未來其他公司也可能從中獲益。

總之，蘋果與英偉達的合作和 ReDrafter 的推出標志著大語言模型推理技術的一個重要進步，有助于推動生產應用程序的高效性和可用性。

聯系作者

文章來源：愛范兒
作者微信：
作者簡介：關注明日產品的數字潮牌