零一萬(wàn)物發(fā)布最新旗艦?zāi)Ｐ停偃f(wàn) token 僅 0.99 元！李開(kāi)復(fù)：定價(jià)沒(méi)有虧本

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：零一萬(wàn)物發(fā)布最新旗艦模型，百萬(wàn) token 僅 0.99 元！李開(kāi)復(fù)：定價(jià)沒(méi)有虧本
關(guān)鍵字：模型,小米,萬(wàn)物,數(shù)字,成本
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

作者 | 褚杏娟
10 月 16 日，繼上半年千億參數(shù)模型 Yi-Large 之后，零一萬(wàn)物正式對(duì)外發(fā)布最新旗艦?zāi)Ｐ?Yi-Lightning。與 Yi-Large 相比，Yi-Lightning 在模型性能更進(jìn)一步的前提下，推理速度方面也迎來(lái)極大提升。
零一萬(wàn)物內(nèi)部評(píng)測(cè)數(shù)據(jù)顯示，在 8xH100 算力基礎(chǔ)下，以同樣的任務(wù)規(guī)模進(jìn)行測(cè)試，Yi-Lightning 的首包時(shí)間（從接收到任務(wù)請(qǐng)求到系統(tǒng)開(kāi)始輸出響應(yīng)結(jié)果之間的時(shí)間）僅為 Yi-Large 的一半，最高生成速度也提升了近四成，大幅實(shí)現(xiàn)了旗艦?zāi)Ｐ偷男阅苌?jí)。
外部模型中，零一萬(wàn)物選擇與 GPT-4o 做對(duì)比：
據(jù)零一萬(wàn)物介紹，Yi-Lightning 推理速度的提升，一方面得益于其自身的 AI Infra 能力，另一方面，Yi-Lightning 選擇采用 Mixture of Experts（MoE）混合專家模型架構(gòu)，并在模型訓(xùn)練過(guò)程中做了新的嘗試。
MoE 模型由多個(gè)專家網(wǎng)絡(luò)（Experts）構(gòu)成，這種模型設(shè)計(jì)使其能夠根據(jù)任務(wù)難度，動(dòng)態(tài)選擇激活哪些專家網(wǎng)絡(luò)，這種動(dòng)態(tài)選擇機(jī)制旨在平衡推理成本和模型性能，確保模型在處理不同難度任務(wù)

原文鏈接：零一萬(wàn)物發(fā)布最新旗艦?zāi)Ｐ停偃f(wàn) token 僅 0.99 元！李開(kāi)復(fù)：定價(jià)沒(méi)有虧本