淘寶星辰 – 阿里媽媽推出的視頻生成大模型

淘寶星辰是阿里媽媽推出的一款電商視頻生成大模型，專為淘寶和天貓商家量身打造。該工具能夠根據(jù)商家提供的圖片或文本指令，一鍵生成高質(zhì)量的視頻。它的核心優(yōu)勢(shì)在于對(duì)商品展示的深刻理解，能夠精準(zhǔn)識(shí)別并應(yīng)用適合不同商品的展示手法；同時(shí)具備強(qiáng)大的多語(yǔ)種語(yǔ)義理解能力，確保生成的視頻與用戶的意圖高度契合；遵循物理和動(dòng)作規(guī)律，使得畫面流暢自然；還能穩(wěn)定保持人物、商品及裝飾元素的清晰與完整。

淘寶星辰是什么

淘寶星辰是阿里媽媽開發(fā)的一款電商視頻生成大模型，專為淘寶和天貓的商家設(shè)計(jì)。它可以根據(jù)商家上傳的圖片或文本指令，快速生成高質(zhì)量的視頻。其核心優(yōu)勢(shì)在于對(duì)商品展示的深刻理解，能夠精準(zhǔn)地識(shí)別并應(yīng)用適合不同類別商品的展示手法。此外，淘寶星辰具備強(qiáng)大的多語(yǔ)言語(yǔ)義理解能力，確保視頻生成能夠滿足用戶的需求。該工具遵循物理和動(dòng)作規(guī)律，保證視頻畫面流暢自然，同時(shí)有效保持人物、商品及裝飾元素的清晰完整，提升視覺效果。商家可利用該工具為商品詳情頁(yè)增添生動(dòng)的視頻內(nèi)容，從而提升商品的吸引力。目前，該工具已向淘寶和天貓商家開放使用。

淘寶星辰的主要功能

• 精準(zhǔn)的商品展示手法：基于豐富的電商數(shù)據(jù)和設(shè)計(jì)經(jīng)驗(yàn)，自動(dòng)識(shí)別并應(yīng)用最適合不同商品類別的展示手法，確保每件商品都能以最佳方式展現(xiàn)。
• 強(qiáng)大的多語(yǔ)言語(yǔ)義理解能力：深刻理解參考圖片和多語(yǔ)言指令（中、英），精準(zhǔn)捕捉文本指令中的關(guān)鍵動(dòng)作信息，確保生成視頻與用戶意圖高度契合。
• 遵循物理和動(dòng)作規(guī)律：嚴(yán)格遵循物理規(guī)律和動(dòng)作規(guī)范，保證視頻畫面流暢自然，避免不符合現(xiàn)實(shí)的效果，提升視頻的真實(shí)感與專業(yè)度。
• 穩(wěn)定的元素清晰性：無論是人臉、商品，還是文字、貼紙等裝飾元素，始終保持清晰完整，無抖動(dòng)或變形，增強(qiáng)視覺一致性。

淘寶星辰的技術(shù)原理

• 基于Unet Diffusion Model：淘寶星辰的視頻生成模型基于Unet Diffusion Model路線，該模型通過逐步去除噪聲來生成數(shù)據(jù)，從而學(xué)習(xí)到復(fù)雜的數(shù)據(jù)分布，生成高質(zhì)量的視頻內(nèi)容。
• 自研3D變分自編碼器：為了更好地處理視頻中的三維信息和空間結(jié)構(gòu)，淘寶星辰研發(fā)了自研的3D VAE（變分自編碼器），可以對(duì)視頻中的物體和場(chǎng)景進(jìn)行三維建模和編碼，重建出更真實(shí)自然的視頻幀。
• 面向視頻生成的豐富數(shù)據(jù)源：構(gòu)建了針對(duì)視頻生成任務(wù)的數(shù)據(jù)飛輪，通過不斷收集和標(biāo)注大量電商數(shù)據(jù)，為模型訓(xùn)練提供豐富素材，涵蓋各種商品的圖片、視頻及文本描述，幫助模型精準(zhǔn)學(xué)習(xí)展示手法及用戶意圖。
• 多模型協(xié)同工作：淘寶星辰的生成模型包括多個(gè)子模型，如Tbstar-T2V（文本到視頻）、Tbstar-I2V（圖片到視頻）、Tbstar-V2V（視頻到視頻）等，這些子模型協(xié)同工作，共同完成視頻生成任務(wù)，進(jìn)一步豐富了生成效果。

如何使用淘寶星辰

• 訪問官方網(wǎng)站：登錄淘寶星辰的官網(wǎng)。
• 選擇功能模塊：選擇“圖生視頻”功能模塊。
• 上傳素材：上傳一張高質(zhì)量的服裝模特展示圖。
• 生成視頻：點(diǎn)擊生成按鈕，等待視頻生成。
• 視頻編輯：生成的視頻會(huì)自動(dòng)顯示在頁(yè)面上，可以進(jìn)行簡(jiǎn)單編輯，如添加品牌logo、調(diào)整顏色等。
• 下載與使用：編輯完成后，下載視頻并將其應(yīng)用于商品詳情頁(yè)或社交媒體推廣。
• 使用限制：目前淘寶星辰僅向淘寶和天貓商家開放，普通用戶暫時(shí)無法使用，商家需確保其賬號(hào)具有相應(yīng)權(quán)限。

淘寶星辰的應(yīng)用場(chǎng)景

• 商品主圖視頻：某服裝商家上傳模特展示圖，生成一個(gè)5秒的視頻主圖，用于商品詳情頁(yè)，大幅提升了商品的點(diǎn)擊率與轉(zhuǎn)化率。
• 賣點(diǎn)吸引視頻：某電子產(chǎn)品商家上傳多張產(chǎn)品圖片，生成多個(gè)視頻片段，通過模板添加、特效和文字，制作成一個(gè)展示產(chǎn)品功能與優(yōu)勢(shì)的賣點(diǎn)視頻，用于社交媒體推廣。
• 種草內(nèi)容視頻：某美妝商家上傳多張產(chǎn)品圖片，生成視頻片段，通過剪輯添加解說和字幕，制作成一個(gè)種草視頻，發(fā)布在小紅書等平臺(tái)，激發(fā)消費(fèi)者購(gòu)買欲望。
• 虛擬試穿視頻：某服飾商家上傳用戶的虛擬試穿圖片，生成虛擬試穿視頻，模擬服飾的真實(shí)上身效果，幫助消費(fèi)者更好地了解商品，減少購(gòu)買顧慮。