小米大模型提效新框架：訓(xùn)練最高提速34%，推理最高提速52%！Kaldi之父合作出品

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：小米大模型提效新框架：訓(xùn)練最高提速34%，推理最高提速52%！Kaldi之父合作出品
關(guān)鍵字：小米,模型,侵權(quán),序列,模塊
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

直播預(yù)告 | 6月25日晚7點(diǎn)，「智猩猩機(jī)器人新青年講座」第9講正式開講，UMass Amherst在讀博士周沁泓將直播講解《在具身智能模擬器中針對(duì)動(dòng)態(tài)災(zāi)害進(jìn)行具身決策》，歡迎掃名~文章轉(zhuǎn)載自公眾號(hào)：量子位，本文只做學(xué)術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。
大模型推理速度提升50%以上，還能保證少樣本學(xué)習(xí)性能！
小米大模型團(tuán)隊(duì)提出SUBLLM（Subsampling-Upsampling-Bypass Large Language Model），國際AI語音大牛、開源語音識(shí)別工具Kaldi之父Daniel Povey也參與指導(dǎo)。
與Llama等模型相比，SUBLLM在訓(xùn)練和推理速度以及降低內(nèi)存方面都有了顯著提升。
在大模型訓(xùn)練中，SUBLLM的速度提高了26%，每個(gè)GPU的內(nèi)存減少了10GB。在推理中，它的速度提高了37%，每個(gè)GPU的內(nèi)存減少了1GB。
訓(xùn)練和推理速度分別最高可以提高至34%和52%。SUBLLM通過智能地選擇和處理數(shù)據(jù)，使得模型在訓(xùn)練和推理時(shí)更加高效：子采樣模塊剔除不必要的信息，上采樣模塊恢復(fù)數(shù)據(jù)的完整性，而繞過模塊則加快了學(xué)習(xí)過程。01在一萬字中挑選最關(guān)鍵的五百字

原文鏈接：小米大模型提效新框架：訓(xùn)練最高提速34%，推理最高提速52%！Kaldi之父合作出品