重磅消息！OpenAI在2月16日發(fā)布了文本轉(zhuǎn)視頻AI模型Sora，你輸入文字，Sora根據(jù)你的文字自動(dòng)生成視頻。官網(wǎng)對(duì)這個(gè)模型特性的介紹，重點(diǎn)有4點(diǎn)：

1. 可以生成長(zhǎng)達(dá)一分鐘的視頻；

2. 可以生成具有多個(gè)角色、特定類型的運(yùn)動(dòng)以及主體和背景的準(zhǔn)確細(xì)節(jié)的復(fù)雜場(chǎng)景；

3. 該模型不僅了解用戶在提示中提出的要求，還了解這些東西在物理世界中的存在方式；

4. 能夠獲取現(xiàn)有的靜態(tài)圖像并從中生成視頻，準(zhǔn)確地動(dòng)畫(huà)化圖像的內(nèi)容并關(guān)注小細(xì)節(jié)；還可以獲取現(xiàn)有視頻并對(duì)其進(jìn)行擴(kuò)展或填充缺失的幀。

“這些東西在物理世界中的存在方式”這點(diǎn)怎么理解？舉個(gè)例子，Sora生成一條跟貓有關(guān)的視頻，其中一段畫(huà)面有貓咪踩奶的動(dòng)作，這是貓?jiān)谡鎸?shí)世界的行為習(xí)慣，但“踩奶”這個(gè)關(guān)鍵詞，并未在文字指令中提及，這是Sora根據(jù)文字指令自發(fā)補(bǔ)充的真實(shí)細(xì)節(jié)。

視頻來(lái)源：OpenAI

生成視頻的文字指令如下

寵物用品賣(mài)家看到這里是不是做夢(mèng)都會(huì)笑醒？貓咪這種不受控制的生物，配合拍攝非常耗時(shí)，現(xiàn)在告訴你有AI工具可以直接幫你生成這段視頻，工作量可能從原本的4小時(shí)直接銳減到10分鐘。

雖然Sora在今天被公開(kāi)宣布，但OpenAI表示它仍處于red-teaming階段，現(xiàn)在還未對(duì)公眾開(kāi)放使用。這意味著 Sora正在接受對(duì)抗性測(cè)試，以確保它不會(huì)產(chǎn)生有害或不當(dāng)內(nèi)容。而且，官方給出的信息稱，當(dāng)前的模型存在不足之處，有兩點(diǎn)：

1. 它可能難以準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理原理，并且可能無(wú)法理解因果關(guān)系的具體實(shí)例。例如，一個(gè)人可能咬了一口餅干，但之后餅干可能沒(méi)有咬痕；

2. 該模型還可能混淆提示的空間細(xì)節(jié)，例如混淆左右，并且可能難以精確描述隨著時(shí)間推移發(fā)生的事件，例如遵循特定的相機(jī)軌跡。

不必?fù)?dān)心，電商廣告素材或商品描述視頻基本不需要體現(xiàn)出這么復(fù)雜的因果關(guān)系或空間細(xì)節(jié)，所以，這兩點(diǎn)不足之處都可以從文字指令的描述上去規(guī)避。

Runway - 視頻生成

Runway能夠根據(jù)文本、圖像或其他視頻創(chuàng)建視頻，也可用于編輯現(xiàn)有視頻。以創(chuàng)建產(chǎn)品視頻為例，Runway的生成視頻 AI 可用于根據(jù)產(chǎn)品的文本描述或圖像自動(dòng)創(chuàng)建產(chǎn)品視頻。

比如鞋類產(chǎn)品，賣(mài)家向AI提供鞋子的文字描述以及圖片，AI會(huì)生成一段視頻，從不同角度展示鞋子，以及鞋子特征的特寫(xiě)鏡頭；商家可以根據(jù)需要編輯視頻，添加文本或圖形來(lái)突出鞋子的特征。

Davinci Resolve - 視頻編輯

DaVinci Resolve是一款視頻編輯和調(diào)色軟件，其中包括許多AI驅(qū)動(dòng)的工具。最好用的 AI 工具之一是 Magic Mask。該工具可以自動(dòng)創(chuàng)建蒙版，從而輕松區(qū)分素材中的對(duì)象。這對(duì)于想要?jiǎng)?chuàng)建突出特定產(chǎn)品或功能的產(chǎn)品視頻或社交媒體視頻的電子商務(wù)商家來(lái)說(shuō)非常有用。

另一個(gè)效果不錯(cuò)的 AI 工具是一款可以基于文本進(jìn)行編輯的產(chǎn)品。該工具允許商家在視頻中創(chuàng)建和編輯文本。可用于添加產(chǎn)品描述、創(chuàng)建號(hào)召性用語(yǔ)按鈕或向視頻添加其他基于文本的元素。

Adobe Premiere Pro - 視頻編輯

Adobe Premiere Pro是一款視頻編輯軟件，它最有用的 AI 工具之一是自動(dòng)重構(gòu)工具。該工具會(huì)自動(dòng)重新構(gòu)建素材以適應(yīng)不同的社交媒體和網(wǎng)站尺寸，這可以節(jié)省商家的時(shí)間和精力，并且可以幫助商家確保他們的視頻在所有平臺(tái)上都好看。

具體使用時(shí)，賣(mài)家可以用自動(dòng)重構(gòu)工具重構(gòu)產(chǎn)品視頻以適應(yīng)社交媒體帖子的尺寸，然后用內(nèi)容感知填充工具來(lái)填充視頻中任何丟失或損壞的素材。