在線教程丨與 Sora 技術路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署

AIGC動態歡迎閱讀

原標題：在線教程丨與 Sora 技術路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署
關鍵字：視頻,模型,教程,神經,技術
文章來源：HyperAI超神經
內容字數：4982字

內容摘要：

作者：十九
編輯：李寶珠，三羊
上海人工智能實驗室開源了全球首個文生視頻 DiT—— Latte，作為一款與 Sora 技術相似的自研模型，Latte 可以部署，應用于影視動畫制作、游戲開發和廣告設計等領域，對于想要探索文生視頻技術的小伙伴來說，開源的 Latte 無疑為大家提供了可供實踐的機會。自 OpenAI 推出 Sora 以來，「文生視頻」概念及相關應用備受矚目。而伴隨 Sora 的大熱，其背后的關鍵技術，DiT (Diffusion Transformers)也被「考古挖掘」了出來。事實上，DiT 是一個文生圖模型，該模型于兩年前開源，其研發人員分別是 Peebles 和謝賽寧，其中 Peebles 也是 Sora 的項目領導者之一。
在 DiT 模型提出之前，Transformer 以其強大的特征提取和上下文理解能力，幾乎在自然語言處理領域獨霸一方。而 U-Net 則以其獨特架構和優越的性能，在圖像生成和擴散模型領域占據主導地位。DiT 最大的特點是把擴散模型里的 U-Net 架構換成了 Transformer 架構。有趣的是，這項工作成果在 2023 年曾被 CVPR

原文鏈接：在線教程丨與 Sora 技術路線相似！全球首個開源文生視頻 DiT 模型 Latte 一鍵部署

聯系作者

文章來源：HyperAI超神經
作者微信：HyperAI
作者簡介：解構技術先進性與普適性，解讀更前沿的 AIForScience 案例