想訓(xùn)練類Sora模型嗎？尤洋團(tuán)隊OpenDiT實現(xiàn)80%加速

AIGC動態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：想訓(xùn)練類Sora模型嗎？尤洋團(tuán)隊OpenDiT實現(xiàn)80%加速
關(guān)鍵字：報告,模型,序列,方法,參數(shù)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：9742字

內(nèi)容摘要：

機(jī)器之心報道
機(jī)器之心編輯部作為 2024 開年王炸，Sora 的出現(xiàn)樹立了一個全新的追趕目標(biāo)，每個文生視頻的研究者都想在最短的時間內(nèi)復(fù)現(xiàn) Sora 的效果。
根據(jù) OpenAI 披露的技術(shù)報告，Sora 的核心技術(shù)點之一是將視覺數(shù)據(jù)轉(zhuǎn)化為 patch 的統(tǒng)一表征形式，并通過 Transformer 和擴(kuò)散模型結(jié)合，展現(xiàn)了卓越的擴(kuò)展（scale）特性。在報告公布后，Sora 核心研發(fā)成員 William Peebles 和紐約大學(xué)計算機(jī)科學(xué)助理教授謝賽寧合著的論文《Scalable Diffusion Models with Transformers》就成了眾多研究者關(guān)注的重點。大家希望能以論文中提出的 DiT 架構(gòu)為突破口，探索復(fù)現(xiàn) Sora 的可行路徑。
最近，新加坡國立大學(xué)尤洋團(tuán)隊開源的一個名為 OpenDiT 的項目為訓(xùn)練和部署 DiT 模型打開了新思路。
OpenDiT 是一個易于使用、快速且內(nèi)存高效的系統(tǒng)，專門用于提高 DiT 應(yīng)用程序的訓(xùn)練和推理效率，包括文本到視頻生成和文本到圖像生成。項目地址：https://github.com/NUS-HPC-AI-Lab/Open

原文鏈接：想訓(xùn)練類Sora模型嗎？尤洋團(tuán)隊OpenDiT實現(xiàn)80%加速