AIGC動態(tài)歡迎閱讀

原標題：大模型推理成本排行榜來了：賈揚清公司效率領跑
關鍵字：負載,模型,基準,吞吐量,人工智能
文章來源：機器之心
內(nèi)容字數(shù)：4189字

內(nèi)容摘要：

機器之心報道
編輯：小舟、澤南風投燒完之后，哪些大模型創(chuàng)業(yè)公司會開始盈利？
「大模型的 API 是個虧本買賣嗎？」隨著大語言模型技術的逐漸實用化，越來越多的科技公司提出了大模型 API 供開發(fā)者們使用。但前有 OpenAI「每天燒掉 70 萬美元」，我們也有理由懷疑以大模型為基礎的業(yè)務到底能不能持續(xù)。
本周四，AI 創(chuàng)業(yè)公司 Martian 為我們仔細盤算了一下。排行榜鏈接：https://leaderboard.withmartian.com/
The LLM Inference Provider Leaderboard 是一個開源的大模型 API 推理產(chǎn)品排行榜。對于每個供應商的 Mixtral-8x7B 和 Llama-2-70B-Chat 公共端點，該榜單對成本、速率限制、吞吐量和 TTFT 的 P50 和 P90 進行了基準測試。
雖然互為競爭關系，但 Martian 發(fā)現(xiàn)各家公司提供的大模型服務之間存在大于 5 倍的成本差異，大于 6 倍的吞吐量，甚至還存在更大的速率限制差異。雖然在不同性能的大模型之間進行選擇只是業(yè)務開展的一部分，但選擇不同的 API 對于獲得最佳性能顯然

原文鏈接：大模型推理成本排行榜來了：賈揚清公司效率領跑

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺