Sora

Sora官網(wǎng)

OpenAI文字生成視頻模型，Sora 可以根據(jù)文字提示生成長達(dá) 60 秒的高清視頻，而且視頻能包含高度詳細(xì)的場景、復(fù)雜的攝像機(jī)以及充滿活力的情感的多個(gè)角色。

Sora內(nèi)測賬號申請

https://openai.com/form/red-teaming-network

Sora簡介

Sora，Openai文字轉(zhuǎn)視頻模型，Sora是一種擴(kuò)散 AI 模型，與 ChatGPT 一樣，它使用 Transformer 架構(gòu)，該模型旨在允許網(wǎng)絡(luò)用戶僅通過文本提示生成高質(zhì)量的 AI 視頻。Sora 可以根據(jù)文字提示生成長達(dá) 60 秒的高清視頻，而且視頻能包含高度詳細(xì)的場景，給定簡短或詳細(xì)的描述或靜止圖像，Sora 可以生成具有多個(gè)角色、不同類型的和背景細(xì)節(jié)的 1080p 電影般的場景。

Sora 的工作方式類似于 OpenAI 的文生圖像AI工具DALL-E。用戶輸入所需的場景，Sora 將返回高清視頻剪輯。Sora 還可以生成受靜止圖像啟發(fā)的視頻剪輯，并擴(kuò)展現(xiàn)有視頻或填充缺失的幀。

Sora技術(shù)特點(diǎn)：

三維空間的連貫性：Sora可以生成帶有動(dòng)態(tài)相機(jī)的視頻。隨著相機(jī)移動(dòng)和旋轉(zhuǎn)，人物和場景元素在三維空間中保持連貫的。

模擬數(shù)字世界：Sora還能模擬人工過程，如視頻游戲。Sora能夠同時(shí)控制Minecraft中的玩家，并高保真地渲染游戲世界及其動(dòng)態(tài)。通過提及“Minecraft”的提示，可以零樣本地激發(fā)Sora的這些能力

長期連續(xù)性和物體持久性：對視頻生成系統(tǒng)來說，Sora通常能夠有效地模擬短期和長期的依賴關(guān)系。同樣，它能在一個(gè)樣本中生成同一角色的多個(gè)鏡頭，確保其在整個(gè)視頻中的外觀一致。

從文本指令生成視頻：Sora能夠僅從文本指令生成視頻，也可以從現(xiàn)有的靜止圖像生成視頻，準(zhǔn)確并詳細(xì)地動(dòng)畫化圖像內(nèi)容。

與世界互動(dòng)：Sora有時(shí)能夠模擬對世界狀態(tài)產(chǎn)生簡單影響的行為。例如，畫家可以在畫布上留下隨時(shí)間持續(xù)的新筆觸，或者一個(gè)人吃漢堡時(shí)留下咬痕。

視頻擴(kuò)展和填充：模型還能夠擴(kuò)展現(xiàn)有視頻或填充缺失幀，進(jìn)一步提高了其在視頻編輯和創(chuàng)作方面的應(yīng)用潛力。

Sora功能特征：

• Sora是一個(gè)擴(kuò)散模型，能夠“生成具有多個(gè)角色、特定類型的以及主題和背景的準(zhǔn)確細(xì)節(jié)的復(fù)雜場景”。
• Sora 將能夠理解提示的細(xì)微差別以及各種物體在物理世界中的行為方式。
• Sora 還可以一次生成整個(gè)視頻，而不是逐幀創(chuàng)建。這有助于避免其他方法的挑戰(zhàn)——確保一個(gè)主題即使暫時(shí)消失在視野之外也能保持不變。

Sora優(yōu)勢：

Sora與眾不同的一件事是它能夠解釋長提示 – 包括一個(gè)打卡在135個(gè)單詞的例子。OpenAI周四分享的示例視頻展示了Sora可以創(chuàng)建各種角色和場景，從人、動(dòng)物和毛茸茸的怪物到城市景觀、風(fēng)景、禪宗花園，甚至淹沒在水下的紐約市。

Sora弱點(diǎn)：

Sora弱點(diǎn)是難以準(zhǔn)確描繪復(fù)雜場景的物理特性并理解因果關(guān)系?！袄纾粋€(gè)人可能會咬一口餅干，但之后，餅干可能沒有咬痕，”

Sora應(yīng)用前景：

Sora不僅是一個(gè)強(qiáng)大的文本到視頻生成模型，而且為理解和模擬現(xiàn)實(shí)世界奠定了基礎(chǔ)，這被認(rèn)為是實(shí)現(xiàn)人工通用智能（AGI）的重要里程碑。

通過結(jié)合變換器架構(gòu)和擴(kuò)散模型技術(shù)，Sora展示了AI在視覺內(nèi)容創(chuàng)造和理解方面的前沿能力，為未來的AI應(yīng)用和研究開辟了新的道路。

Sora官網(wǎng)入口網(wǎng)址

https://openai.com/sora

OpenI小編發(fā)現(xiàn)Sora網(wǎng)站非常受用戶歡迎，請?jiān)L問Sora網(wǎng)址入口試用。