大家好，我是大雷。一個藝術(shù)背景、喜歡搗鼓各類 AI 產(chǎn)品的AI產(chǎn)品經(jīng)理。2月16日，OpenAI把Sora視頻模型扔進(jìn)了這場AI 視頻模型大戰(zhàn)，直接讓科技圈和部分圈外區(qū)域地震。我這個混跡在內(nèi)容和AI邊緣的人，既興奮又震驚，心想這波操作，又不知道干翻了多少創(chuàng)業(yè)者。Sora從時長、一致性、邏輯性上，就把友商按在地上摩擦。大家原以為2024年的AI視頻，能搞定基本的生成時長和一致性就牛逼哄哄了。哪成想AI的進(jìn)步速度比我寫稿子還快！（過年沒寫完的稿子拖到現(xiàn)在，Sora一出，感覺自己的計劃都得重來了。）就這樣，我花了兩天多點(diǎn)的時間，用AI把一個近4分鐘的動畫短片給搞出來了，生成了1550張圖，采用了154張圖；然后生成了67段視頻， 采用了26段視頻。簡單來說就是想的不一定畫得出來，畫出來了的不一定動得出來。故事比較簡單，主要講的是Zootopia隔壁城市的一所小學(xué)內(nèi)轉(zhuǎn)來了一個新同學(xué)——小白龍。它的外貌有些與眾不同，還會經(jīng)常在不經(jīng)意間闖禍，給自己和身邊人帶來麻煩。終于在新年夜的這天晚上，發(fā)生了一件大事...一、制作流程在時間和金錢的雙重壓力下，我找到了一條適合我的制作捷徑。（AI 就是燒錢！開發(fā)的人燒錢！用的人也燒錢?。?/span>這次的視頻制作，效率是王道，其他的對我來說太燒錢燒時間。和視頻相關(guān)的所有內(nèi)容、資料，都記錄在飛書文檔里。按照我倆在字節(jié)的摸爬滾打經(jīng)驗，他曾經(jīng)是編導(dǎo)，我是分鏡，搞定故事大綱和腳本是分分鐘的事，花時間的在后面的生成部分。分工上，大雍負(fù)責(zé)前期的內(nèi)容構(gòu)思和腳本編寫；我主要負(fù)責(zé)圖片、視頻生成和視頻剪輯。我的 Midjourney 提示詞也沒什么特別技巧，主要就是圍繞皮克斯、迪士尼、3D 風(fēng)格來寫。"a small white Chiense dragon, anthropomorphic, Smile with surprise, wearing a school uniform, looking at a blurry gift box in the foreground, super close-up shot, camera focus on his face, 3D render, Unreal Engine, Pixar 3D style, blurry classroom scene, bright sunshine --ar 16:9 --niji 6"重點(diǎn)就是"a small white Chiense dragon, anthropomorphic, 3D render, Unreal Engine, Pixar 3D style"動畫主要用的是 Runway，因為看中它的控制筆刷。（筆刷控制。在我做的時候，Runway還沒有更新自動識別區(qū)域的筆刷，還得靠自己手動選擇）Runway 我就更沒什么技巧，純靠運(yùn)氣我只能說。做著做著，碰上技術(shù)實現(xiàn)不了的劇情，只能變通故事。說白了，偶爾也得讓內(nèi)容給技術(shù)讓讓路。最后，憑AI能生成的畫面來定劇情內(nèi)容，一切以技術(shù)實現(xiàn)效果為準(zhǔn)。剪輯最后在剪映里完。AE、PR 這些復(fù)雜的通通不考慮，這次就得快快快。整個片子，不考慮人力，會員費(fèi)的總成本如下：Midjourney和Runway年花兩千來塊（Midjourney會員年花費(fèi)約￥2014，Runway月費(fèi)約￥102），月折合270左右。二、背景故事參與這個活動的背景就是，我在“通向 AGI 之路”的群里，每天盼著AJ老師分享AI小知識。那一個周末是打算擠時間去啃啃哈佛的計算機(jī)基礎(chǔ)課，給我那點(diǎn)初學(xué)者級別的編程技能補(bǔ)補(bǔ)課，所以那個杭州的活動我就沒去線下參加。然后有一天，我看到AJ老師發(fā)了個什么AI春晚的東西。我頓時就興奮了，心想：這什么神仙活動？這么獨(dú)到的創(chuàng)意？這么難得的機(jī)遇？！立馬長按識別二維碼沖進(jìn)群里，還拉上了大雍一起加入。- 對AI的濃厚興趣，相信它能實現(xiàn)我的創(chuàng)意夢想。
- 被稱為全人類首個共創(chuàng)AI春晚的創(chuàng)新概念所吸引。
- 期待與對AI同樣熱情的人一起創(chuàng)作。
- 憑借我在視頻和動畫領(lǐng)域的經(jīng)驗，尤其是對《瘋狂動物城》的熱愛，我相信自己能夠貢獻(xiàn)力量。
因此，我?guī)е剿鞯男膽B(tài)，踏上了這次AI短片創(chuàng)作之旅。三、初步構(gòu)思進(jìn)群后，真是遇到了一幫活力十足的小伙伴，尤其是 AJ、電子酒、電子茶老師等等，他們不僅有想法，還能干。大家都是有工作、甚至有的人有家庭，還能百忙之中抽出時間來做，真的是熱愛。在看好大致的計劃和時間節(jié)點(diǎn)后，我和大雍腦洞大開開始醞釀劇本。無論是什么類型的視頻內(nèi)容，我們更喜歡優(yōu)質(zhì)的內(nèi)容大于炫技。因為優(yōu)質(zhì)的故事內(nèi)容，才能讓人留下深刻印象。誠然，好的內(nèi)容和好的表現(xiàn)手法二者都不可或缺。優(yōu)秀的內(nèi)容能夠吸引并保持觀眾的興趣，而出色的表現(xiàn)手法則能夠增強(qiáng)這種興趣，使得作品更加生動和有吸引力。很多視頻非常的有創(chuàng)意、酷炫，尤其是在 AI 的加持后，讓以前的很多不可能、或者高成本的特效，成為了普通人或小團(tuán)隊創(chuàng)作者的可能。但是目前市面上，大部分創(chuàng)作者還是把它當(dāng)作炫技工具偏多。作為內(nèi)容創(chuàng)作者，尤其是在迪士尼、皮克斯動畫電影熏陶下長大的人，我還是想回歸到故事的本事，讓 AI 發(fā)揮它的工具作用，把我所構(gòu)思的內(nèi)容展現(xiàn)出來。（我認(rèn)為故事相當(dāng)精彩的動畫電影，還有好多好多就不一一列舉了）要在短時間內(nèi)構(gòu)思出一個好故事真的不容易，更不用說是一個既要精彩又要溫馨感人的短故事了。于是我想到了學(xué)學(xué)圣誕節(jié)廣告短片的方法，畢竟人家怎么在短短幾分鐘內(nèi)講好一個故事是有技巧的。理論上，圣誕節(jié)和春節(jié)本質(zhì)上也是差不多的，都是關(guān)于家庭、溫情和歡聚。最終我們決定以小龍的獨(dú)特能力為核心，展開故事。這個特性既是小龍的弱點(diǎn)，也是我們故事中的轉(zhuǎn)折點(diǎn)，能夠在春節(jié)這個溫馨的背景下，帶給大家既溫情又充滿驚喜的體驗。小龍因為一次次意外的噴火而引發(fā)的連鎖反應(yīng)，最終卻用這個能力解決問題，尤其是用火點(diǎn)燃煙花，營造幸福溫馨的氛圍，這不也符合春節(jié)氣氛嗎？四、內(nèi)容中遇到的最大困難在確定了大綱之后，我們開始著手腳本編寫，和使用Midjourney生成分鏡。但很快我就遭遇了一個巨大的挑戰(zhàn)——時間緊迫。最初，我過于樂觀地估計了自己能夠投入到這個項目中的時間。快到交稿時間的時候，在電子酒老師催促進(jìn)度的時候，我甚至開始質(zhì)疑自己是否能夠繼續(xù)下去，內(nèi)心既是憤怒又是自責(zé)。第二天還有其他重要事務(wù)待辦，如果不犧牲睡眠時間，幾乎沒有任何可能可以繼續(xù)推進(jìn)項目。在這關(guān)鍵時刻，電子酒老師送來了及時雨：這句話仿佛為我打開了情緒的閘門，讓我找到了釋放壓力的出口。我向他坦白了自己的困境和絕望的情緒。隨后，我在AI春晚的大群里求助，并公開了我的飛書文檔，開放編輯權(quán)限，希望能吸引到有時間、有能力、愿意幫忙的人。求助信息一出，沒想到立刻就有好多網(wǎng)友響應(yīng)！他們的反應(yīng)速度和熱情完全出乎我的預(yù)料。我迅速分配了任務(wù)，大家也都毫不吝惜地使用自己的token來支援我。包括 AJ 老師，也主動提出可以拉著家里小朋友配音試試看。最后，所有的配音都交給了 AJ 和她的小朋友們！實在是太太太棒了。為了盡量減少大家的token和時間的消耗，我提出了一些簡單的要求，確保大家能夠明白大致的創(chuàng)作方向。隨著經(jīng)驗的積累，我的制作速度也越來越快。有了腳本的基礎(chǔ)和之前的分鏡經(jīng)驗，我選取和制作片段的效率大大提高。最終，在凌晨2點(diǎn)半，我成功完成了第一版的輸出。到了第二天，發(fā)現(xiàn)時間還有剩余，我便繼續(xù)修改添加了一些新內(nèi)容，以期使最終的展示效果更上一層樓。回望這一路的艱辛，如果沒有AJ、電子酒老師和那些熱心網(wǎng)友的及時援助，我的這個項目很可能就流產(chǎn)了。最終，這部作品榮獲AI 春晚的最佳動畫類節(jié)目的殊榮，讓我超感動。這種凝聚力和行動力讓我無法用言語表達(dá)當(dāng)時的感動，它把春節(jié)的溫馨和團(tuán)圓的氣氛體現(xiàn)得淋漓盡致。電子酒，電子茶，大雍，AJ 和小朋友們，Damon，程宇A(yù)lex，AI 譯然，Komu，秀秀。沒有他們的無私貢獻(xiàn)，就沒有這份令人自豪的成果。五、解決技術(shù)上遇到的問題在講述創(chuàng)作過程之后，我想分享一下解決技術(shù)難題的經(jīng)驗。AI 最大的優(yōu)勢在于顯著提高了效率和大幅度降低了制作成本。雖然現(xiàn)在有很多技術(shù)限制，但是我覺得至少實現(xiàn)了我想要的 60%。采用傳統(tǒng)的3D動畫制作方法，我可能需要十年以上的時間來學(xué)習(xí)和制作，從建模到渲染再到剪輯。而AI視頻生成工具讓我能夠?qū)⒊橄蟮南敕ň唧w化，同時提升視頻的視覺質(zhì)量。然而，技術(shù)的局限性也相當(dāng)明顯：無法保持一致性在面對一致性的挑戰(zhàn)時，尤其是當(dāng)創(chuàng)作完全依賴于AI生成的敘事性視頻，如我的小白龍故事，維持角色和場景的一致性幾乎是不可能的。當(dāng)前技術(shù)的限制意味著，除非采取先實拍再通過AI轉(zhuǎn)繪的方法，否則純AI生成的視頻很難達(dá)到理想的一致性水平。而我這種有虛構(gòu)生物的故事也很難通過轉(zhuǎn)繪的方式實現(xiàn)。面對這種局限，我采取了幾種策略來盡量緩解這個問題。首先，我盡可能保持?jǐn)⑹滦詢?nèi)容中角色的關(guān)鍵特征和外輪廓的一致，比如我的主角小白龍，我確保其始終展現(xiàn)出其年幼、迪斯尼皮克斯風(fēng)格、白色龍的形象。同時，我保持角色的位置一致性，例如小白龍始終站在右側(cè)面向左側(cè)，其他角色都基本都站在左側(cè)面向右側(cè)，這樣做可以降低觀眾識別角色時的困難。此外，我減少故事中需要觀眾記住的角色數(shù)量。在我的故事中，除了主角小白龍外，其他小動物角色大多只出現(xiàn)一次，從而減輕觀眾的記憶負(fù)擔(dān)。舉個例子，對于那些想嘗試制作以特定角色（如一對情侶）為中心的AI視頻的創(chuàng)作者，建議盡量集中關(guān)注這兩個角色，其他配角減少出場次數(shù)，并通過重復(fù)的視覺特征來加強(qiáng)觀眾對主要角色的印象。這樣的策略在一定程度上可以彌補(bǔ)AI技術(shù)在一致性上的不足，使敘事更加流暢和連貫。產(chǎn)出不可控用AI生成內(nèi)容就像阿甘在吃巧克力，他永遠(yuǎn)不知道下一顆是什么味道。就拿Midjourney來說，哪怕我腦海中有個清晰的畫面，它也像是那位經(jīng)常走神的朋友，怎么叮囑都會給你帶來意想不到的“驚喜”。為了讓畫面和故事連貫，我不得不停地 roll the dice，希望能碰到那個勉強(qiáng)合眼緣的結(jié)果，而不是出來個“大失敗”。（但是為了效率，只能忍了，看到個差不多合眼的就趕緊選了！）拿表情控制來說，好比我想要的是皮克斯級別的細(xì)膩，結(jié)果AI給我的卻是變成一攤液體的石頭人。比如這個，我期待小白龍在教室里害羞地?fù)]手，結(jié)果它給我一個僵硬的動作，做得我想笑。還有這個，什么東東？？我在這里的提示詞是：crying sadly, tears...
當(dāng)時讓我聯(lián)想到，也許我們未來對AI的指令不該局限于文字。隨著技術(shù)的進(jìn)步，將來我們或許能用“草圖”或者“小片段”來指導(dǎo)AI，讓它更準(zhǔn)確地捕捉我們的創(chuàng)意。比如我這類有繪畫基礎(chǔ)的人，如果能直接用簡單的草圖來告訴AI我想要什么，那不是更直接、更高效嗎？對于視頻產(chǎn)品，或許可以嘗試讓用戶用預(yù)置素材加上一些動作指令，比如讓一個小人從屏幕的一側(cè)走到另一側(cè)，并用關(guān)鍵幀鎖定它的行走路徑。這種方法，雖然聽起來有點(diǎn)像是回到了動畫制作的石器時代，但至少能讓AI的輸出更加穩(wěn)定、更接近我心中的預(yù)期。角色不易多、動作幅度小發(fā)現(xiàn)Midjourney 在生成的時候，最好不要生成過多角色。這里的過多甚至可能是 2 個。做人、做動物還好，但是像我這種有擬人角色的需求，簡直就是和要靠買彩票暴富一樣。比如那張小龍噴火到小兔子舉著的禮物盒上，這個看似簡單的需求，MJ 硬是生成不出讓我滿意的。
當(dāng)然我可以理解的是，龍，尤其是中國龍，的數(shù)據(jù)樣本真的很少。這對于用 MJ 的我來說，想要做個符合要求的小白龍的圖真的很有挑戰(zhàn)性。至于視頻生成，如果想讓角色做出一些比較大的動作，比如轉(zhuǎn)頭、掉眼淚、抬手，或是更生動的表情變化，現(xiàn)有的技術(shù)還有點(diǎn)捉襟見肘，還需要更先進(jìn)的技術(shù)、更豐富的數(shù)據(jù)和更強(qiáng)大的計算能力。我的策略是，盡量規(guī)避制作那些需要大動作表現(xiàn)的視頻。如果實在避免不了，那就嘗試制作一些只涉及小動作的場景，然后通過以下幾種方法來盡可能地增強(qiáng)表現(xiàn)力。這樣，雖然不能完全彌補(bǔ)大動作的缺失，但至少能在視覺和敘事上做到不那么突兀。文字的補(bǔ)充通過加入臺詞和場景描述，可以有效補(bǔ)充AI生成圖像無法達(dá)到的細(xì)節(jié)和深度。這種方法能夠幫助觀眾更好地理解場景背景和角色心理，彌補(bǔ)視覺上的不足。
聲音的補(bǔ)充聲音是另一個能夠極大提升視頻環(huán)境氛圍和代入感的元素。我通過添加合適的音效來豐富場景，如城市的空氣聲、街頭的人聲和汽車鳴笛，學(xué)校的鈴聲和孩子們的談話聲，以及戶外的蟬鳴聲等。這些細(xì)節(jié)的聲音能夠填補(bǔ)畫面在表現(xiàn)力上的空缺，使得視頻更加生動和真實。配樂的選擇對于增強(qiáng)視頻的整體效果同樣至關(guān)重要。幸運(yùn)的是，剪映提供了豐富的音樂庫，讓我能夠找到與我的視頻內(nèi)容高度契合的背景音樂。視頻的節(jié)奏與配樂的契合度也是一個不容忽視的方面。由于我的故事結(jié)構(gòu)相對簡單，我主要集中在如何讓畫面與音樂節(jié)奏相協(xié)調(diào)，以此來提升觀眾的觀看體驗。綜上所述，通過巧妙地結(jié)合文字描述和聲音元素，可以有效地補(bǔ)充和強(qiáng)化AI生成內(nèi)容的表現(xiàn)力，讓視頻作品在視覺和聽覺上都能給觀眾帶來更加豐富和沉浸式的體驗。六、結(jié)尾在這次的短期實驗中，我制作的短片更像是一個動態(tài)繪本。在制作過程中遇到的許多問題和挑戰(zhàn)，是在不斷地制作、審視、反思中逐漸發(fā)現(xiàn)的，而這些都不是我一開始就能預(yù)見到的。通過分享我的經(jīng)歷，我希望能為那些夢想利用AI技術(shù)創(chuàng)作自己的短片或長篇作品的你提供一些參考和指南，幫助你規(guī)避一些可能的陷阱，節(jié)省探索解決方案的時間。我堅信，未來AI視頻技術(shù)將開辟更廣闊的想象空間和創(chuàng)新方式。不僅是Runway，還有未面向大眾開放的Sora，現(xiàn)在已經(jīng)有的Stable Diffusion, Stable Video, DomoAI, Pixverse, Pika, Suno等多種工具，它們各具特色，服務(wù)于不同的需求和人群，提供了多樣化的創(chuàng)作可能。真正合適的工具，應(yīng)該是那些能讓我們表達(dá)創(chuàng)意、實現(xiàn)心中所想的。不管是通過多么復(fù)雜或傳統(tǒng)的方法，如二維手繪、定格動畫、甚至膠片電影，只要能夠準(zhǔn)確地呈現(xiàn)出我們心中的故事，那么任何工具或方式都是值得稱贊的。在內(nèi)容創(chuàng)作的世界里，優(yōu)秀的內(nèi)容始終是核心。我期望，隨著Sora以及更多先進(jìn)的AI視頻制作工具的問世，未來能夠利用成熟的技術(shù)再次創(chuàng)作出這部短片。 感謝你能看到這里，一同見證這段探索和創(chuàng)造的旅程。
|
