春節(jié)大禮包！OpenAI首個視頻生成模型發(fā)布，60秒高清大作，網(wǎng)友已嘆服

天承辦公室 2024-02-16 發(fā)布于江蘇

展開全文

機器之心報道

機器之心編輯部

歡迎來到 bling zoo！

北京時間今天凌晨，OpenAI 正式發(fā)布了文本到視頻生成模型 Sora，繼 Runway、Pika、谷歌和 Meta 之后，OpenAI 終于加入視頻生成領(lǐng)域的戰(zhàn)爭。

山姆?奧特曼的消息放出后，看到 OpenAI 工程師第一時間展示的 AI 生成視頻效果，人們紛紛表示感嘆：好萊塢的時代結(jié)束了？

OpenAI 聲稱，如果給定一段簡短或詳細(xì)的描述或一張靜態(tài)圖片，Sora 就能生成類似電影的 1080p 場景，其中包含多個角色、不同類型的動作和背景細(xì)節(jié)。

Sora 有哪些特別之處呢？它對語言有著深刻的理解，能夠準(zhǔn)確地解釋 prompt 并生成吸引人的字符來表達(dá)充滿活力的情感。同時，Sora 不僅能夠了解用戶在 prompt 中提出的要求，還能 get 到在物理世界中的存在方式。

在官方博客中，OpenAI 提供了很多 Sora 生成的視頻示例，展示了令人印象深刻的效果，至少與此前出現(xiàn)過的文本生成視頻技術(shù)相比是這樣。

對于初學(xué)者來說，Sora 可以生成各種風(fēng)格的視頻（例如，真實感、動畫、黑白），最長可達(dá)一分鐘 —— 比大多數(shù)文本到視頻模型要長得多。

這些視頻保持了合理的連貫性，它們并不總是屈服于所說的「人工智能怪異」，比如物體朝物理上不可能的方向移動。

先讓 Sora 生成一張中國龍年舞龍的視頻。

比如輸入 prompt：加州淘金熱時期的歷史鏡頭。

輸入 prompt：玻璃球的特寫視圖，里面有一個禪宗花園。球體中有一個小矮人正在沙子上創(chuàng)造圖案。

輸入 prompt：一位 24 歲女性眨眼的極端特寫，在魔法時刻站在馬拉喀什，70 毫米拍攝的電影，景深，鮮艷的色彩，電影。

輸入 prompt：穿過東京郊區(qū)的火車窗外的倒影。

輸入 promot：賽博朋克背景下機器人的生活故事。

畫面太真實，同時太詭異

但 OpenAI 承認(rèn)，當(dāng)前的模型也有弱點。它可能難以準(zhǔn)確模擬復(fù)雜場景中的物理現(xiàn)象，也可能無法理解具體的因果關(guān)系。該模型還可能混淆提示的空間細(xì)節(jié)，例如混淆左和右，并可能難以精確描述隨時間發(fā)生的事件，如跟隨特定的攝像機軌跡。

比如他們發(fā)現(xiàn)，在生成的過程中動物和人會自發(fā)出現(xiàn)，尤其是在包含許多實體的場景中。

在下面這個例子中，Prompt 本來是「五只灰狼幼崽在草叢環(huán)繞的偏僻碎石路上嬉戲追逐。幼狼們奔跑著、跳躍著，互相追逐著、咬著，嬉戲著?！沟傻倪@種「復(fù)制粘貼」的畫面很容易讓人想起某些神異鬼怪傳說：

還有下面這個例子，吹蠟燭之前和吹蠟燭之后，火苗沒有絲毫變化，透露出一種詭異：

技術(shù)細(xì)節(jié)

對 Sora 背后的模型細(xì)節(jié)，我們知之甚少。據(jù) OpenAI 博客，更多的信息將在后續(xù)的技術(shù)論文中公布。

博客中透露了一些基礎(chǔ)信息：Sora 是一種擴散模型，它生成的視頻一開始看起來像靜態(tài)噪音，然后通過多個步驟去除噪音，逐步轉(zhuǎn)換視頻。

Midjourney 和 Stable Diffusion 的圖像和視頻生成器同樣基于擴散模型。但我們可以看出，OpenAI Sora 生成視頻的質(zhì)量好得多。Sora 感覺像是創(chuàng)建了真實的視頻，而以往這些競爭對手的模型則感覺像是 AI 生成圖像的定格動畫。

Sora 可以一次性生成整個視頻，也可以擴展生成的視頻，使其更長。通過讓模型一次預(yù)見多幀畫面，OpenAI 解決了一個具有挑戰(zhàn)性的問題，即確保被攝體即使暫時離開視線也能保持不變。

與 GPT 模型類似，Sora 也使用了 transformer 架構(gòu)，從而實現(xiàn)了卓越的擴展性能。

OpenAI 將視頻和圖像表示為稱為 patch 的較小數(shù)據(jù)單元的集合，每個 patch 類似于 GPT 中的 token。通過統(tǒng)一數(shù)據(jù)表示方式，OpenAI 能夠在比以往更廣泛的視覺數(shù)據(jù)上訓(xùn)練擴散 transformer，包括不同的持續(xù)時間、分辨率和寬高比。

Sora 建立在過去 DALL?E 和 GPT 模型的研究基礎(chǔ)之上。它采用了 DALL?E 3 中的重述技術(shù)，即為視覺訓(xùn)練數(shù)據(jù)生成高度描述性的字幕。因此，該模型能夠在生成的視頻中更忠實地遵循用戶的文字提示。

除了能夠僅根據(jù)文字說明生成視頻外，該模型還能根據(jù)現(xiàn)有的靜態(tài)圖像生成視頻，并準(zhǔn)確、細(xì)致地對圖像內(nèi)容進行動畫處理。該模型還能提取現(xiàn)有視頻，并對其進行擴展或填充缺失的幀。

參考鏈接：https:///sora