比 Sora DiT 架構早兩個月的 U-ViT,由這家中國 AIGC 公司提出
AIGC動態(tài)歡迎閱讀
原標題:比 Sora DiT 架構早兩個月的 U-ViT,由這家中國 AIGC 公司提出
關鍵字:模型,架構,科技,團隊,圖文
文章來源:AI科技評論
內(nèi)容字數(shù):6551字
內(nèi)容摘要:
CVPR2023 曾拒稿 OpeanAI 的 DiT,收錄生數(shù)科技的 U-ViT。作者丨王悅
編輯丨陳彩嫻
「Sora 出來之后,團隊就開始連軸轉,沒休息過。」這是 AI 科技評論了解到的,目前國內(nèi)諸多 AIGC 創(chuàng)業(yè)公司的現(xiàn)狀。
Sora 的確讓世界范圍內(nèi)的創(chuàng)業(yè)公司措手不及。隨之而來的,有一種悲觀論調和懷疑態(tài)度:創(chuàng)業(yè)公司和 OpenAI 拼術是否有意義?是否有必要做同樣的事情?有多大的生存空間?
誠然,要彌合和 OpenAI 的差距并非易事,基于算力、投資等前提條件, OpenAI 的效果自然不是短期內(nèi)可以達到,但是也不見得到了技術層的創(chuàng)業(yè)公司無路可走的地步。
清華系創(chuàng)業(yè)團隊生數(shù)科技提出的技術路線,和 Sora 在架構路線上完全一致,均是提出了將Transformer 與擴散模型融合的思路,在具體的實驗路徑上也一致。并且,生數(shù)科技的 U-ViT 比 OpenAI 的 DiT 早了兩個月。
甚至,彼時的 CVPR2023 選擇收錄了U-ViT,而將 DiT 拒稿。
目前,生數(shù)科技的多模態(tài)大模型全鏈路均自主訓練、自主研發(fā),是全球首個將Transformer架構引入擴散模型的骨干網(wǎng)絡。在文
原文鏈接:比 Sora DiT 架構早兩個月的 U-ViT,由這家中國 AIGC 公司提出
聯(lián)系作者
文章來源:AI科技評論
作者微信:aitechtalk
作者簡介:雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究,關注AI工程落地。