AIGC動態歡迎閱讀
原標題:零一萬物發布最新旗艦模型,百萬 token 僅 0.99 元!李開復:定價沒有虧本
關鍵字:模型,小米,萬物,數字,成本
文章來源:AI前線
內容字數:0字
內容摘要:
作者 | 褚杏娟
10 月 16 日,繼上半年千億參數模型 Yi-Large 之后,零一萬物正式對外發布最新旗艦模型 Yi-Lightning。與 Yi-Large 相比,Yi-Lightning 在模型性能更進一步的前提下,推理速度方面也迎來極大提升。
零一萬物內部評測數據顯示,在 8xH100 算力基礎下,以同樣的任務規模進行測試,Yi-Lightning 的首包時間(從接收到任務請求到系統開始輸出響應結果之間的時間)僅為 Yi-Large 的一半,最高生成速度也提升了近四成,大幅實現了旗艦模型的性能升級。
外部模型中,零一萬物選擇與 GPT-4o 做對比:
據零一萬物介紹,Yi-Lightning 推理速度的提升,一方面得益于其自身的 AI Infra 能力,另一方面,Yi-Lightning 選擇采用 Mixture of Experts(MoE)混合專家模型架構,并在模型訓練過程中做了新的嘗試。
MoE 模型由多個專家網絡(Experts)構成,這種模型設計使其能夠根據任務難度,動態選擇激活哪些專家網絡,這種動態選擇機制旨在平衡推理成本和模型性能,確保模型在處理不同難度任務
原文鏈接:零一萬物發布最新旗艦模型,百萬 token 僅 0.99 元!李開復:定價沒有虧本
聯系作者
文章來源:AI前線
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...