AIGC動態(tài)歡迎閱讀

原標題：大模型部署技巧
關鍵字：模型,報告,利用率,批處理,成本
文章來源：AI前線
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

作者 | Meryem Arik 譯者 | 明知山 策劃 | Tina
本文是實用生成式人工智能應用系列文章的一部分。在這一系列文章里，我們呈現(xiàn)了來自頂尖生成式人工智能實踐者的現(xiàn)實世界解決方案和實操經(jīng)驗。
當大多數(shù)人提及大語言模型，他們可能會想到 OpenAI 旗下的某款模型。這些模型不僅規(guī)模大，而且功能強大，托管在 OpenAI 的服務器上，并通過網(wǎng)絡 API 進行調用。這些基于 API 的模型調用是快速嘗試 LLM 的一種方式。
然而，企業(yè)也可以選擇部署自己的模型。部署或自托管 LLM 是一項具有挑戰(zhàn)性的任務，并不像調用 OpenAI 的 API 那樣簡單。你可能會好奇：既然自托管 LLM 如此復雜，為何還要費心這么做呢？通常，企業(yè)選擇自托管 LLM 基于以下三大動機：
隱私與安全：在自己安全的環(huán)境中部署模型（無論是在虛擬私有云還是本地）。
提升性能：許多領域的新模型需要自托管，特別是在增強檢索生成（RAG）方面。
降低大規(guī)模部署的成本：雖然基于 API 調用的模型最初看起來可能很便宜，但對于大規(guī)模部署，自托管可能更具成本效益。
A16Z 的一份報告揭示了一個趨勢：82% 的企業(yè)

原文鏈接：大模型部署技巧

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：