大模型推理成本排行榜來(lái)了：賈揚(yáng)清公司效率領(lǐng)跑

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型推理成本排行榜來(lái)了：賈揚(yáng)清公司效率領(lǐng)跑
關(guān)鍵字：負(fù)載,模型,基準(zhǔn),吞吐量,人工智能
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4189字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：小舟、澤南風(fēng)投燒完之后，哪些大模型創(chuàng)業(yè)公司會(huì)開(kāi)始盈利？
「大模型的 API 是個(gè)虧本買(mǎi)賣(mài)嗎？」隨著大語(yǔ)言模型技術(shù)的逐漸實(shí)用化，越來(lái)越多的科技公司提出了大模型 API 供開(kāi)發(fā)者們使用。但前有 OpenAI「每天燒掉 70 萬(wàn)美元」，我們也有理由懷疑以大模型為基礎(chǔ)的業(yè)務(wù)到底能不能持續(xù)。
本周四，AI 創(chuàng)業(yè)公司 Martian 為我們仔細(xì)盤(pán)算了一下。排行榜鏈接：https://leaderboard.withmartian.com/
The LLM Inference Provider Leaderboard 是一個(gè)開(kāi)源的大模型 API 推理產(chǎn)品排行榜。對(duì)于每個(gè)供應(yīng)商的 Mixtral-8x7B 和 Llama-2-70B-Chat 公共端點(diǎn)，該榜單對(duì)成本、速率限制、吞吐量和 TTFT 的 P50 和 P90 進(jìn)行了基準(zhǔn)測(cè)試。
雖然互為競(jìng)爭(zhēng)關(guān)系，但 Martian 發(fā)現(xiàn)各家公司提供的大模型服務(wù)之間存在大于 5 倍的成本差異，大于 6 倍的吞吐量，甚至還存在更大的速率限制差異。雖然在不同性能的大模型之間進(jìn)行選擇只是業(yè)務(wù)開(kāi)展的一部分，但選擇不同的 API 對(duì)于獲得最佳性能顯然

原文鏈接：大模型推理成本排行榜來(lái)了：賈揚(yáng)清公司效率領(lǐng)跑

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)