標(biāo)簽：吞吐量

大模型推理成本排行榜來(lái)了：賈揚(yáng)清公司效率領(lǐng)跑

機(jī)器之心報(bào)道 編輯：小舟、澤南風(fēng)投燒完之后，哪些大模型創(chuàng)業(yè)公司會(huì)開(kāi)始盈利？ 「大模型的 API 是個(gè)虧本買(mǎi)賣(mài)嗎？」隨著大語(yǔ)言模型技術(shù)的逐漸實(shí)用化，越來(lái)越多...
閱讀原文

今日Arxiv最熱NLP大模型論文：清華大學(xué)讓大語(yǔ)言模型自動(dòng)并行自回歸解碼，速度提升高達(dá)4倍！

夕小瑤科技說(shuō) 原創(chuàng)作者 | 賽博馬良 本文內(nèi)容由 賽博馬良「AI論文解讀達(dá)人」 智能體生成，人工整理排版。 「AI論文解讀達(dá)人」 可提供最熱AI論文推薦、論文解讀...
閱讀原文

Llama2推理RTX3090勝過(guò)4090，延遲吞吐量占優(yōu)，但被A800遠(yuǎn)遠(yuǎn)甩開(kāi)

機(jī)器之心報(bào)道 編輯：杜偉、小舟這是為數(shù)不多深入比較使用消費(fèi)級(jí) GPU（RTX 3090、4090）和服務(wù)器顯卡（A800）進(jìn)行大模型預(yù)訓(xùn)練、微調(diào)和推理的論文。 大型語(yǔ)言...
閱讀原文

自己發(fā)基準(zhǔn)自己第一，Anyscale行為惹社區(qū)吐槽

機(jī)器之心報(bào)道 編輯：蛋醬前一天發(fā)布 LLMPerf 排行榜，宣稱(chēng)要推動(dòng)大型語(yǔ)言模型推理領(lǐng)域的發(fā)展，鼓勵(lì)創(chuàng)新與超越。 第二天就收獲 AI 社區(qū)的大量吐槽，原因是排行...
閱讀原文

LLM生成延遲降低50%！DeepSpeed團(tuán)隊(duì)發(fā)布FastGen：動(dòng)態(tài)SplitFuse技術(shù)，提升2.3倍有效吞吐量

新智元報(bào)道編輯：LRS【新智元導(dǎo)讀】DeepSpeed-FastGen結(jié)合MII和DeepSpeed-Inference實(shí)現(xiàn)LLM高吞吐量文本生成。GPT-4和LLaMA這樣的大型語(yǔ)言模型（LLMs）已在各...
閱讀原文
12