Adobe Firefly 是 Adobe 最新推出的一系列創(chuàng)新型生成式 AI 模型，旨在激發(fā)用戶(hù)的創(chuàng)造潛能。這些模型被整合到 Adobe 的核心應(yīng)用程序和 Adobe Stock 中，支持多種功能，包括圖像、矢量圖形、設(shè)計(jì)模型以及最新的視頻生成模型。

Adobe Firefly是什么

Adobe Firefly 是一套旨在幫助用戶(hù)釋放創(chuàng)造力的生成式 AI 模型，集成在 Adobe 的主要應(yīng)用程序和 Adobe Stock 中。用戶(hù)可以通過(guò)簡(jiǎn)單的文本描述或其他輸入，快速生成視頻、文檔、數(shù)字體驗(yàn)以及豐富的圖像和藝術(shù)作品。

Adobe Firefly的主要功能

• 圖像生成：用戶(hù)可通過(guò)直觀的文本提示生成全新圖像內(nèi)容，涵蓋現(xiàn)實(shí)和創(chuàng)意兩種風(fēng)格。
• 圖像編輯：支持圖像的合成、修復(fù)以及風(fēng)格遷移等任務(wù)，用戶(hù)可以輕松添加或刪除元素、替換背景等。
• 視頻生成：最新的 Firefly Video Model 能根據(jù)文本提示和靜態(tài)圖像生成專(zhuān)業(yè)水準(zhǔn)的視頻內(nèi)容。
• 易用性：即便沒(méi)有專(zhuān)業(yè)設(shè)計(jì)背景的用戶(hù)也能迅速上手使用 Firefly。
• 多語(yǔ)言支持：Firefly 支持超過(guò) 100 種語(yǔ)言的文本輸入，使全球用戶(hù)均可便捷使用該技術(shù)。

Adobe Firefly的模型介紹

Firefly Image 2 模型：這是 Firefly 的新一代圖像生成模型，能夠生成更高質(zhì)量的圖像，提供更精準(zhǔn)的提示解析，尤其在生物肖像時(shí)，改善了皮膚、頭發(fā)、眼睛的效果，同時(shí)增強(qiáng)了多樣性和身體結(jié)構(gòu)的表現(xiàn)。

Firefly Video Model：這一最新推出的 AI 視頻生成工具可根據(jù)文本提示生成全新視頻內(nèi)容。它結(jié)合深度學(xué)習(xí)、生成對(duì)抗網(wǎng)絡(luò)（GAN）和變分自編碼器（VAE）等技術(shù)，以及自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)，能夠?qū)⑽谋巨D(zhuǎn)化為動(dòng)態(tài)畫(huà)面。Firefly Video Model 還支持圖像轉(zhuǎn)視頻和視頻編輯功能，如攝像機(jī)控制和生成續(xù)幀等。

• Firefly Video Model的功能特色
  • 文本到視頻生成：用戶(hù)能夠根據(jù)文本提示生成視頻，并通過(guò)攝像機(jī)控制（如角度、和縮放）進(jìn)行微調(diào)，同時(shí)參考圖像生成 B-Roll，輕松填補(bǔ)視頻時(shí)間線中的空白。
  • 圖像到視頻生成：創(chuàng)作者可以將靜態(tài)圖像或插圖轉(zhuǎn)換為栩栩如生的動(dòng)態(tài)視頻，提升視覺(jué)表現(xiàn)力。
  • 自動(dòng)化視頻編輯：Firefly 能夠根據(jù)文本指令自動(dòng)執(zhí)行復(fù)雜的視頻編輯任務(wù)，如色彩分級(jí)、特效添加、濾鏡應(yīng)用等，簡(jiǎn)化視頻制作流程。
  • 場(chǎng)景創(chuàng)建與過(guò)渡：用戶(hù)可輕松創(chuàng)建多個(gè)視頻場(chǎng)景，并利用智能算法生成平滑的過(guò)渡效果，確保內(nèi)容連貫且視覺(jué)吸引。
  • 動(dòng)態(tài)視頻內(nèi)容調(diào)整：生成的視頻可實(shí)時(shí)調(diào)整，包括動(dòng)畫(huà)速度、對(duì)象位置和角度的改變，以及燈光、陰影和鏡頭的微調(diào)，以符合用戶(hù)的具體需求。
  • 與 Adobe 生態(tài)系統(tǒng)集成：Firefly Video Model 與 Adobe Premiere Pro 和 After Effects 等專(zhuān)業(yè)視頻編輯工具無(wú)縫集成，用戶(hù)可以直接在這些軟件中使用和進(jìn)一步編輯生成的視頻內(nèi)容。
• 應(yīng)用Firefly Video Model的產(chǎn)品
  • Adobe Premiere Pro：用戶(hù)可利用文本轉(zhuǎn)視頻和圖像轉(zhuǎn)視頻功能生成視頻內(nèi)容。Generative Extend 功能支持將現(xiàn)有視頻延長(zhǎng)兩秒，填補(bǔ)時(shí)間線上的空白。
  • Firefly Web 應(yīng)用：在 Firefly 的網(wǎng)站上，用戶(hù)可以訪問(wèn)文本轉(zhuǎn)視頻和圖像轉(zhuǎn)視頻功能，生成時(shí)長(zhǎng)為五秒的視頻，這些功能目前處于有限公測(cè)階段。
  • Firefly Services：Adobe 還推出了 Firefly Services，提供創(chuàng)意和生成 API，幫助企業(yè)優(yōu)化生產(chǎn)流程，包括 Dubbing 和 Lip Sync 功能，可將視頻對(duì)話翻譯成不同語(yǔ)言，同時(shí)保持口型同步。
• Firefly Video Model的技術(shù)原理
  • 深度學(xué)習(xí)算法：Firefly 模型通過(guò)深度學(xué)習(xí)分析大量圖像數(shù)據(jù)，以生成新的圖像內(nèi)容。
  • 生成對(duì)抗網(wǎng)絡(luò)（GAN）：此網(wǎng)絡(luò)由生成器和判別器組成，生成器創(chuàng)建新圖像，而判別器評(píng)估生成的圖像是否真實(shí)，二者通過(guò)對(duì)抗過(guò)程不斷優(yōu)化。
  • 變分自編碼器（VAE）：VAE 是一種生成模型，通過(guò)編碼器壓縮輸入數(shù)據(jù)，并通過(guò)解碼器重建數(shù)據(jù)。
  • 自然語(yǔ)言處理（NLP）：NLP 技術(shù)使 Firefly 能理解用戶(hù)的文本提示，并將其轉(zhuǎn)化為圖像或視頻內(nèi)容。
  • 計(jì)算機(jī)視覺(jué)技術(shù)：計(jì)算機(jī)視覺(jué)用于理解和處理圖像及視頻數(shù)據(jù)，包括圖像識(shí)別和目標(biāo)檢測(cè)等。

Adobe Firefly的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：adobe.com/hk_zh

Adobe Firefly的應(yīng)用場(chǎng)景

• 創(chuàng)意設(shè)計(jì)和圖形制作：Firefly 能幫助設(shè)計(jì)師快速生成多樣化的矢量圖形、色彩組合和圖案設(shè)計(jì)，輕松應(yīng)對(duì)各種設(shè)計(jì)挑戰(zhàn)，自動(dòng)調(diào)整圖像的色彩、光影和紋理，使作品更加生動(dòng)。
• 社交媒體內(nèi)容制作：用戶(hù)可通過(guò)輸入文字描述，將其轉(zhuǎn)化為具有創(chuàng)意和美感的圖片，豐富社交媒體帖子、廣告及宣傳材料。
• 視頻編輯和制作：Firefly Video Model 支持視頻編輯者根據(jù)文本提示生成視頻，訪問(wèn)各種攝像機(jī)控制以微調(diào)視頻，參考圖像生成 B-Roll，增強(qiáng)視覺(jué)表現(xiàn)力。
• 企業(yè)級(jí)內(nèi)容生產(chǎn)：Firefly Services 提供一系列創(chuàng)意和生成 API，幫助企業(yè)優(yōu)化生產(chǎn)工作流程，如 Dubbing 和 Lip Sync 功能可將視頻內(nèi)容對(duì)話翻譯成不同語(yǔ)言，同時(shí)保持口型同步。
• 個(gè)人和團(tuán)隊(duì)的創(chuàng)意工作流程：Firefly 集成在 Adobe Creative Cloud、Adobe Express 和 Adobe Experience Cloud 等多個(gè)應(yīng)用中，改進(jìn)了創(chuàng)意構(gòu)思、創(chuàng)作及交流的流程。
• 教育和培訓(xùn)：Firefly 可作為教育工具，幫助學(xué)生和專(zhuān)業(yè)人士學(xué)習(xí) AI 設(shè)計(jì)和創(chuàng)意過(guò)程，通過(guò)實(shí)踐提升技能。