大年初六，OpenAI 正式發(fā)布了AI視頻生成模型Sora，繼 Runway、Pika、谷歌和 Meta 之后，OpenAI 終于加入視頻生成領(lǐng)域的戰(zhàn)爭(zhēng)。看了官方提供的生成視頻，非常驚艷，質(zhì)量很高，真假難辨。之前AI視頻領(lǐng)域，視頻長(zhǎng)度一直在幾秒十幾秒徘徊，效果還一般，Sora直接生成60秒高質(zhì)量視頻，有點(diǎn)降維打擊的感覺(jué)。這下不知道有多少 AI 視頻創(chuàng)業(yè)公司徹夜難眠...又有多少視頻創(chuàng)作者興奮得睡不著覺(jué)了...那么Sora是什么，可以做什么，效果如何，如何使用呢？一起來(lái)看看。Sora 是 OpenAI 開(kāi)發(fā)的AI視頻生成模型，它能夠根據(jù)用戶提供的文本描述生成高質(zhì)量視頻，生成長(zhǎng)達(dá) 60 秒的視頻，其中包含精細(xì)復(fù)雜的場(chǎng)景、生動(dòng)的角色表情以及復(fù)雜的鏡頭運(yùn)動(dòng)。Sora與ChatGPT一樣采用的是Transformer架構(gòu)，并使用了DALL-E 3中的重述技術(shù)，是一種為視覺(jué)訓(xùn)練數(shù)據(jù)生成高精準(zhǔn)描述性的字幕。所以，Sora在生成視頻過(guò)程中精準(zhǔn)還原用戶的文本提示語(yǔ)義。Sora能夠創(chuàng)造出包含多個(gè)角色、特定動(dòng)作類型以及與主題和背景相符的詳細(xì)場(chǎng)景。這款模型不僅能理解用戶的指令，還能洞察這些元素在現(xiàn)實(shí)世界中的表現(xiàn)。Sora對(duì)語(yǔ)言有著深刻的理解，能夠精準(zhǔn)地捕捉到用戶的需求，并創(chuàng)造出充滿生命力、情感豐富的角色。此外，Sora還能在同一視頻中創(chuàng)造出多個(gè)畫(huà)面，同時(shí)保持角色和視覺(jué)風(fēng)格的一致性。Sora 可以做什么？Sora 的主要功能是將文本描述轉(zhuǎn)化為視頻內(nèi)容。它能夠理解并執(zhí)行詳細(xì)的文本指令，生成具有視覺(jué)質(zhì)量和連貫性的視頻，這些視頻可以包含多個(gè)角色、動(dòng)作和場(chǎng)景。Sora 還能夠從靜態(tài)圖像生成動(dòng)畫(huà)，或擴(kuò)展現(xiàn)有視頻。- 生成高質(zhì)量視頻：Sora 能夠根據(jù)文本提示生成視頻，這些視頻可以包含復(fù)雜的場(chǎng)景、多個(gè)角色、特定的動(dòng)作以及準(zhǔn)確的主題和背景細(xì)節(jié)。
- 理解自然語(yǔ)言：Sora 擁有深入的語(yǔ)言理解能力，能夠準(zhǔn)確解釋提示并生成表達(dá)豐富情感的角色。
- 多鏡頭生成：Sora 可以在單個(gè)生成的視頻中創(chuàng)建多個(gè)鏡頭，同時(shí)保持角色和視覺(jué)風(fēng)格的一致性。
- 從靜態(tài)圖像生成視頻：Sora 能夠從一個(gè)現(xiàn)有的靜態(tài)圖像開(kāi)始，準(zhǔn)確地動(dòng)畫(huà)化圖像內(nèi)容。
- 視頻擴(kuò)展：Sora 還可以擴(kuò)展現(xiàn)有視頻，或者填補(bǔ)視頻中的缺失幀。
Sora生成案例展示A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.一位時(shí)尚女性走在布滿溫暖霓虹燈和動(dòng)畫(huà)城市標(biāo)牌的東京街道上。她穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子，拎著黑色錢包。她戴著太陽(yáng)鏡，涂著紅色口紅。她走路自信又隨意。街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來(lái)走去。Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.美麗、白雪皚皚的東京城很繁華。鏡頭穿過(guò)熙熙攘攘的城市街道，跟隨幾個(gè)人享受美麗的雪天并在附近的攤位購(gòu)物。美麗的櫻花花瓣隨著雪花在風(fēng)中飛舞。Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.幾只巨大的毛茸茸的猛犸象正踏著白雪皚皚的草地走來(lái)，它們長(zhǎng)長(zhǎng)的毛茸茸的皮毛在風(fēng)中輕輕飄動(dòng)，遠(yuǎn)處覆蓋著積雪的樹(shù)木和雄偉的雪山，午后的陽(yáng)光下有縷縷云彩，太陽(yáng)高掛在天空中?！本嚯x產(chǎn)生了溫暖的光芒，低攝像頭視角令人驚嘆地捕捉到了大型毛茸茸的哺乳動(dòng)物，具有美麗的攝影和景深。A Chinese Lunar New Year celebration video with Chinese Dragon.與中國(guó)龍一起慶祝中國(guó)農(nóng)歷新年的視頻。A young man at his 20s is sitting on a piece of cloud in the sky, reading a book.一位 20 多歲的年輕人正坐在天空中的一片云上看書(shū)。Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.逼真的特寫視頻，展示兩艘海盜船在一杯咖啡內(nèi)一邊航行、一邊爭(zhēng)斗的情形。The camera rotates around a large stack of vintage televisions all showing different programs — 1950s sci-fi movies, horror movies, news, static, a 1970s sitcom, etc, set inside a large New York museum gallery.鏡頭圍繞一大堆老式電視旋轉(zhuǎn)，所有電視都顯示不同的節(jié)目 - 20 世紀(jì) 50 年代的科幻電影、恐怖電影、新聞、靜態(tài)、1970 年代的情景喜劇等，背景設(shè)置在紐約大型博物館畫(huà)廊內(nèi)。Sora的局限性當(dāng)然，Sora不是完美的，還存在不少問(wèn)題。比如在模擬復(fù)雜場(chǎng)景的物理效應(yīng)，以及理解某些特定因果關(guān)系時(shí)，它可能會(huì)遇到難題，比如：- 視頻中的人物可能會(huì)咬一口餅干，但餅干上可能看不到明顯的咬痕。
- 在處理空間細(xì)節(jié)，比如分辨左右時(shí)，Sora也可能會(huì)出現(xiàn)混淆；
- 在精確描述一段時(shí)間內(nèi)發(fā)生的事件，如特定的攝影機(jī)移動(dòng)軌跡時(shí)，也可能顯得力不從心。
如何使用Sora？Sora目前暫未開(kāi)放，內(nèi)測(cè)階段。估計(jì)等測(cè)試就緒，很快就會(huì)對(duì)外開(kāi)放使用了。Sora官網(wǎng)入口：https:///sora關(guān)注AIHub公眾號(hào)，及時(shí)獲取最新開(kāi)放消息和使用教程。
|
