On-device Sora官網(wǎng)

On-device Sora 是一個(gè)開(kāi)源項(xiàng)目，旨在通過(guò)線性比例跳躍（LPL）、時(shí)間維度標(biāo)記合并（TDTM）和動(dòng)態(tài)加載并發(fā)推理（CI-DL）等技術(shù)，實(shí)現(xiàn)在移動(dòng)設(shè)備（如 iPhone 15 Pro）上高效的視頻生成。該項(xiàng)目基于 Open-Sora 模型開(kāi)發(fā)，能夠根據(jù)文本輸入生成高質(zhì)量視頻。其主要優(yōu)點(diǎn)包括高效性、低功耗和對(duì)移動(dòng)設(shè)備的優(yōu)化。該技術(shù)適用于需要在移動(dòng)設(shè)備上快速生成視頻內(nèi)容的場(chǎng)景，如短視頻創(chuàng)作、廣告制作等。項(xiàng)目目前開(kāi)源，用戶(hù)可以免費(fèi)使用。

On-device Sora是什么？

On-device Sora是一個(gè)開(kāi)源項(xiàng)目，允許用戶(hù)在移動(dòng)設(shè)備（例如iPhone 15 Pro）上直接生成高質(zhì)量視頻。它基于擴(kuò)散模型，通過(guò)文本輸入生成視頻，無(wú)需依賴(lài)云端服務(wù)器。該項(xiàng)目的主要優(yōu)勢(shì)在于高效性、低功耗和對(duì)移動(dòng)設(shè)備的優(yōu)化，這使得它成為移動(dòng)端視頻創(chuàng)作的理想選擇。

On-device Sora的主要功能

On-device Sora的核心功能是將文本轉(zhuǎn)換為視頻。用戶(hù)只需輸入一段文字描述，該程序就能生成相應(yīng)的視頻內(nèi)容。其效率和質(zhì)量得益于線性比例跳躍（LPL）、時(shí)間維度標(biāo)記合并（TDTM）和動(dòng)態(tài)加載并發(fā)推理（CI-DL）等技術(shù)的應(yīng)用。

如何使用On-device Sora？

On-device Sora的使用需要一定的技術(shù)基礎(chǔ)。大致步驟如下：首先，克隆項(xiàng)目倉(cāng)庫(kù)到本地；其次，安裝必要的依賴(lài)包（例如Python 3.10和相關(guān)庫(kù)）；然后，將模型轉(zhuǎn)換為MLPackage格式（支持T5、STDiT和VAE）；接著，在Xcode中打開(kāi)項(xiàng)目并配置Apple開(kāi)發(fā)者賬號(hào)；最后，在iPhone 15 Pro或更高版本設(shè)備上運(yùn)行應(yīng)用。需要注意的是，整個(gè)過(guò)程需要一定的編程和iOS開(kāi)發(fā)經(jīng)驗(yàn)。

On-device Sora的產(chǎn)品價(jià)格

On-device Sora是一個(gè)開(kāi)源項(xiàng)目，完全免費(fèi)。

On-device Sora的常見(jiàn)問(wèn)題

On-device Sora對(duì)手機(jī)硬件的要求高嗎？ 目前該項(xiàng)目主要針對(duì)iPhone 15 Pro及更高版本設(shè)備進(jìn)行了優(yōu)化，其他設(shè)備的兼容性有待進(jìn)一步測(cè)試。性能可能因設(shè)備而異。

On-device Sora生成的視頻質(zhì)量如何？ 視頻質(zhì)量與輸入文本的清晰度和模型訓(xùn)練有關(guān)。雖然On-device Sora在移動(dòng)端實(shí)現(xiàn)了較高的效率，但生成的視頻質(zhì)量可能不如一些大型云端模型。

On-device Sora的未來(lái)發(fā)展方向是什么？ 項(xiàng)目團(tuán)隊(duì)正在持續(xù)優(yōu)化模型，提升生成效率和視頻質(zhì)量，并計(jì)劃拓展對(duì)更多移動(dòng)設(shè)備和平臺(tái)的支持。

On-device Sora官網(wǎng)入口網(wǎng)址

https://github.com/eai-lab/On-device-Sora

OpenI小編發(fā)現(xiàn)On-device Sora網(wǎng)站非常受用戶(hù)歡迎，請(qǐng)?jiān)L問(wèn)On-device Sora網(wǎng)址入口試用。