王長(zhǎng)虎：PixVerse 實(shí)測(cè)效果已超過 Pika，抖音經(jīng)驗(yàn)讓我們有足夠優(yōu)勢(shì)

天承辦公室 2024-02-06 發(fā)布于江蘇

展開全文

機(jī)器之心原創(chuàng)

作者：姜菁玲

今年 4 月宣布創(chuàng)辦愛詩科技，加入視頻生成賽道后，王長(zhǎng)虎就消失在輿論場(chǎng)中了。他在抖音的職業(yè)經(jīng)歷，讓愛詩科技在視頻生成的牌桌上擁有一席重要位置。

2017 年，王長(zhǎng)虎加入字節(jié)跳動(dòng)開始擔(dān)任 AI Lab 總監(jiān)，在這個(gè)崗位上，他為抖音和 Tiktok 從 0-1 構(gòu)建了視頻AI能力。用王長(zhǎng)虎本人的話說，為抖音所做的工作，讓他的團(tuán)隊(duì)涉獵了幾乎所有與視頻智能相關(guān)的領(lǐng)域，包括且不限于數(shù)據(jù)處理、內(nèi)容生成、安全問題處理、視頻內(nèi)容精準(zhǔn)理解以及全方位廣告場(chǎng)景。

近期，王長(zhǎng)虎接受了機(jī)器之心的獨(dú)家專訪。在采訪中，王長(zhǎng)虎詳細(xì)介紹了抖音的視頻智能化經(jīng)驗(yàn)是如何被他復(fù)用到視頻生成領(lǐng)域的，所積累的這些經(jīng)驗(yàn)為他的新公司構(gòu)建了數(shù)據(jù)、算法以及工程上的競(jìng)爭(zhēng)優(yōu)勢(shì)。

愛詩科技在近期上線的視頻生成工具 PixVerse，能夠生成免費(fèi) 4K 分辨率的高清視頻，在光影細(xì)節(jié)和運(yùn)動(dòng)準(zhǔn)確性等方面取得了進(jìn)展。王長(zhǎng)虎告訴機(jī)器之心，PixVerse 的性能在某些方面已經(jīng)達(dá)到了 Pika 的水平，甚至在多項(xiàng)評(píng)測(cè)中超越了它們。

創(chuàng)作者用PixVerse創(chuàng)作的短片

自媒體 KOL 歸藏在一次對(duì)比評(píng)測(cè)中，從物品特寫、寫實(shí)風(fēng)景、寫實(shí)人像、皮克斯 2.5D 風(fēng)格、 2D 動(dòng)畫風(fēng)格五種風(fēng)格對(duì) PixVerse、Pika 以及 Runway 三大模型進(jìn)行比較，為這三者評(píng)分 74.5 分、 73.5 分、 64.5 分，PixVerse 位居第一。

歸藏認(rèn)為，“PixVerse 的模型是這三者最為平衡的，可以有比較強(qiáng)的運(yùn)動(dòng)幅度，同時(shí)可以維持較好的一致性。Pika 在動(dòng)漫和 2.5D 風(fēng)格上的優(yōu)勢(shì)巨大，但圖像質(zhì)量以及一致性相對(duì)差一些?！?/span>

PixVerse、Runway 以及 Pika的對(duì)比（https://weibo.com/6182606334/4994169402301252）

王長(zhǎng)虎認(rèn)為，目前視頻生成領(lǐng)域存在的兩個(gè)最關(guān)鍵的技術(shù)問題是準(zhǔn)確性和一致性，而在這兩個(gè)核心維度上，Pika 和 Runway 還有提升空間?！霸谀壳暗膶?shí)測(cè)中，PixVerse 歡迎投資人和同行以及用戶來進(jìn)行隨機(jī)大樣本量的對(duì)比，對(duì)比越多，越能發(fā)現(xiàn)我們的優(yōu)勢(shì)”。

王長(zhǎng)虎表示，視頻生成技術(shù)上的累進(jìn)和商業(yè)化的運(yùn)行已經(jīng)可以同步開展。愛詩科技內(nèi)部正在大量孵化基于視頻生成技術(shù)的輕量應(yīng)用，這些應(yīng)用將面向使用抖音、快手等短視頻平臺(tái)的 C 端視頻消費(fèi)者，借助這些應(yīng)用擴(kuò)充產(chǎn)品影響力。

“產(chǎn)品效果超越 Pika”

機(jī)器之心：能否請(qǐng)您介紹下目前公司最新的情況？

王長(zhǎng)虎：我們核心團(tuán)隊(duì)成員從 2017 年開始參與抖音從零到一的發(fā)展，負(fù)責(zé)抖音背后的視頻人工智能能力構(gòu)建，在視頻 AI 領(lǐng)域積累了很多獨(dú)特的實(shí)戰(zhàn)經(jīng)驗(yàn)。隨著 AI 時(shí)代的到來，我們認(rèn)識(shí)到 AI 視頻生成的巨大潛力，而我們的經(jīng)驗(yàn)讓我們有信心（比別人）做得更快更好。

2023 年 4 月份，我們獲得首輪數(shù)千萬人民幣的融資，6 月份核心團(tuán)隊(duì)基本成型。我們只用了 3-4 個(gè)月的時(shí)間就實(shí)現(xiàn)了重大進(jìn)展，在某些方面超越了全球最大的競(jìng)爭(zhēng)對(duì)手像 Pika 這樣的公司。之前在抖音積累的視頻處理經(jīng)驗(yàn)，被成功應(yīng)用在目前我們的 AI 視頻生成項(xiàng)目上。

整體上，我們的產(chǎn)品發(fā)展分為兩個(gè)階段：

第一階段：TO 創(chuàng)作者，提供更好的視頻生成服務(wù)，更好地理解創(chuàng)作者動(dòng)機(jī)。同時(shí)，也支持直接面向用戶，接受用戶反饋進(jìn)行迭代。我們目前已經(jīng)推出的產(chǎn)品 PixVerse，用戶已經(jīng)可以在網(wǎng)頁端和 Discord 社區(qū)使用，利用文字或者圖片生成 4K 高清視頻。

在第二階段，我們希望直接面向消費(fèi)者，不僅僅是提供工具，而是要打通創(chuàng)作和消費(fèi)的整個(gè)流程，直接提供 AI 原生的可消費(fèi)內(nèi)容。

機(jī)器之心：橫向?qū)Ρ?，目前，PixVerse 在哪些方面做得比較好？

王長(zhǎng)虎：目前，我們認(rèn)為在視頻生成領(lǐng)域最關(guān)鍵的兩個(gè)問題是準(zhǔn)確性和一致性。準(zhǔn)確性要求每一幀都能精確地反映用戶需求，一致性要求在時(shí)間軸上，視頻中物體的運(yùn)動(dòng)符合客觀規(guī)律。

只有在這兩方面上實(shí)現(xiàn)進(jìn)步，讓 AI 生成的視頻準(zhǔn)確反映用戶需求，并且保證動(dòng)態(tài)內(nèi)容符合規(guī)律，運(yùn)動(dòng)具有連貫性，這樣的視頻才能應(yīng)用于實(shí)際場(chǎng)景。就目前而言，我們發(fā)現(xiàn)在這兩個(gè)核心維度上，Pika 和 Runway 各有明顯的不足。

目前，在這兩方面，我們已經(jīng)取得了重大進(jìn)展。我們已經(jīng)可以生成 4K 高清的動(dòng)態(tài)視頻，并且在可用性上實(shí)現(xiàn)了提升。

舉個(gè)例子，這是我們海外的一些創(chuàng)作者所實(shí)現(xiàn)的效果，一位創(chuàng)作者利用 PixVerse 制作的宣傳片，其中每個(gè)素材都運(yùn)用了我們的技術(shù)。

此外，我們還能制作一些基于電影、游戲素材的創(chuàng)新場(chǎng)景，比如鋼鐵俠在黃浦江游泳、讓《原神》角色在其他游戲場(chǎng)景里跳舞等等。

Prompt：wonder woman walking in the rain_神奇女俠在雨中行走

機(jī)器之心：你提到說在效果上已經(jīng) “超過了 Pika 和 Runway”，這個(gè)標(biāo)準(zhǔn)是什么？我們可以怎么感受到？

王長(zhǎng)虎：我們可以用同一個(gè) Prompt，對(duì)比一下 PixVerse 和 Pika 1.0、Runway 的效果。

比如，柯基跳舞的 Prompt（a corgi is dancing_一只柯基在跳舞）

在 Pika 1.0 的表現(xiàn)里，柯基主體非常精確且吸引人，但是它只進(jìn)行了微小幅度的運(yùn)動(dòng)。觀察它的畫面，雖然每一幀單獨(dú)看起來都不錯(cuò)，但當(dāng)它們連在一起時(shí)，就不再呈現(xiàn)出視頻的信息量。而Runway在柯基的表現(xiàn)上很好，但是基本沒有跳舞的動(dòng)作。

這本質(zhì)上，是剛才我提到的 “運(yùn)動(dòng)一致性” 的問題，因?yàn)楝F(xiàn)在對(duì)于要讓一個(gè)物體在時(shí)間軸上去做運(yùn)動(dòng)，本身是一個(gè)非常難的技術(shù)。

總之，整個(gè)行業(yè)在模型視頻生成方面面臨的最基礎(chǔ)問題，就是準(zhǔn)確率和運(yùn)動(dòng)一致性。如果我們制作的視頻素材既不準(zhǔn)確又缺乏一致性，就無法在任何場(chǎng)景中有效使用。因此，我認(rèn)為這是全球這個(gè)行業(yè)首要解決的問題。在這方面，我們技術(shù)上可能走在了前列。

我們歡迎對(duì)我們的模型進(jìn)行實(shí)時(shí)測(cè)試，事實(shí)上，測(cè)試的案例越多，我們的優(yōu)勢(shì)就越明顯。現(xiàn)在視頻生成領(lǐng)域還沒有形成統(tǒng)一的競(jìng)爭(zhēng)格局，我們認(rèn)為在這個(gè)方向上，我們有機(jī)會(huì)在全球范圍內(nèi)取得領(lǐng)先地位。

機(jī)器之心：你們內(nèi)部視頻生成內(nèi)容評(píng)價(jià)的標(biāo)準(zhǔn)是什么？

王長(zhǎng)虎：目前我們內(nèi)部已有一個(gè)評(píng)估標(biāo)準(zhǔn)，可以用于評(píng)估視頻生成產(chǎn)品準(zhǔn)確性和一致性。目前整個(gè)行業(yè)缺乏一個(gè)明確的判斷標(biāo)準(zhǔn)，所以我們也在不斷完善過程中，未來可能會(huì)發(fā)布出來。

我們將評(píng)估標(biāo)準(zhǔn)分為三個(gè)部分：主體動(dòng)作風(fēng)格、一致性（包括主體和背景），以及主體運(yùn)動(dòng)的合理性。我們還考慮了運(yùn)鏡技巧、創(chuàng)新瓶頸，以及豐富性，后者主要涉及畫質(zhì)和幀率。這些都是比較客觀的維度。我們還評(píng)估信息量，即單位時(shí)間內(nèi)的信息量。很多同行在研發(fā)時(shí)缺乏這樣的邏輯。我們有一套體系來支持我們的迭代進(jìn)程。

在效果評(píng)定上，除了主觀與客觀的標(biāo)準(zhǔn)，我們還采用盲測(cè)的方法做測(cè)試。向多個(gè)模型輸入隨機(jī) Prompt，抹去水印，讓足夠樣本的人做效果排序，來判斷誰更優(yōu)秀。

機(jī)器之心：你認(rèn)為這種評(píng)估方式相對(duì)客觀嗎？

王長(zhǎng)虎：是的，這種方法相對(duì)客觀。雖然圖片生成和視頻生成的效果判斷比較主觀，但我們之所以能在市場(chǎng)上迅速崛起，是因?yàn)槲覀兪褂玫哪Ｐ秃驼麄€(gè)系統(tǒng)支持我們從數(shù)據(jù)角度快速作出評(píng)估。

機(jī)器之心：你們最近進(jìn)行的盲測(cè)評(píng)估結(jié)果如何？

王長(zhǎng)虎：根據(jù)我們最近的評(píng)估結(jié)果，我們的性能在某些方面已經(jīng)達(dá)到了 Pika 平臺(tái)的水平，甚至在多項(xiàng)評(píng)測(cè)中超越了它們。我們的產(chǎn)品在視覺效果、分辨率、畫質(zhì)上明顯優(yōu)于競(jìng)品。此外，在模型準(zhǔn)確性、一致性和豐富性方面，我們的表現(xiàn)也更好。

通常情況下，如果有投資人或同行要進(jìn)行測(cè)試，我們會(huì)建議他們出至少 20 個(gè)問題，以確保樣本量足夠大。我們會(huì)根據(jù)他們認(rèn)為重要的方面來進(jìn)行測(cè)試。在所有這些測(cè)試中，我們通?？梢悦黠@地看出我們的產(chǎn)品比競(jìng)品更優(yōu)秀，這是肉眼可見的。

但最終判斷哪個(gè)產(chǎn)品更好，很多時(shí)候并不僅僅是基于技術(shù)性的因素，而是主觀上的偏好。如果大家普遍認(rèn)為某個(gè)產(chǎn)品好，那么這個(gè)產(chǎn)品就被視為更優(yōu)秀。

用抖音經(jīng)驗(yàn)解決準(zhǔn)確性與一致性問題

機(jī)器之心：再聊聊 “準(zhǔn)確性” 以及 “一致性” 的問題，和其他公司比，你們是怎么做到這兩方面表現(xiàn)得更好？

王長(zhǎng)虎：影響視頻生成最后結(jié)果的因素有很多，但最重要的是：數(shù)據(jù)、算法和工程能力，而我們?cè)谶^往經(jīng)驗(yàn)中，這幾方面都有自己的優(yōu)勢(shì)。

我們從 0 到 1 建立過抖音背后的視頻平臺(tái)能力，這里面包括了數(shù)據(jù)處理、內(nèi)容生成、安全問題處理、對(duì)視頻內(nèi)容的精準(zhǔn)理解甚至全方位的廣告場(chǎng)景，幾乎所有與視頻相關(guān)領(lǐng)域我們都有所涉獵。

數(shù)據(jù)層面，我們的關(guān)鍵能力是，能夠從海量數(shù)據(jù)中篩選出一小部分高質(zhì)量數(shù)據(jù)來訓(xùn)練更優(yōu)秀的模型，并且在安全問題上足夠有經(jīng)驗(yàn)。在抖音和 TikTok，每天都有海量視頻上傳，我們需要利用 AI 技術(shù)有效地整合和剔除低質(zhì)量和重復(fù)性內(nèi)容，并且防止用戶生成不適當(dāng)內(nèi)容。處理這些問題的經(jīng)驗(yàn)，讓我們能夠用更少的整體數(shù)據(jù)量訓(xùn)練模型，同時(shí)降低模型大小和 GPU 資源。

算法層面，我們?cè)诙嗄B(tài)對(duì)齊、視頻特征表示、時(shí)空建模以及主體控制上都有自己的創(chuàng)新。在多模態(tài)建模上，我們進(jìn)行了大量自監(jiān)督學(xué)習(xí)，更充分利用動(dòng)作型數(shù)據(jù)，特別是在處理未標(biāo)注的視頻數(shù)據(jù)方面，我們嘗試了多種方法來建模那些標(biāo)注噪聲較大的數(shù)據(jù)集，這些嘗試直接幫助我們解決動(dòng)態(tài)建模的問題。

特征表示上，我們?cè)谖淖趾鸵曨l內(nèi)容的向量化做了很多嘗試。時(shí)空建模方面，我們努力在訓(xùn)練過程中生成局部?jī)?nèi)容，同時(shí)讓模型能夠把握整體視野。生成中間某一幀時(shí)，模型應(yīng)能夠記住之前和之后的內(nèi)容。在最優(yōu)關(guān)鍵幀選擇和動(dòng)作建模質(zhì)量上取得平衡。主體控制上，我們?cè)陉P(guān)鍵幀生成、視頻內(nèi)容分割等方進(jìn)行優(yōu)化，幫助我們對(duì)視頻性能控制更精準(zhǔn)。

工程方面，我們參考了之前在抖音操盤上萬塊 GPU 的經(jīng)驗(yàn)，幫助在大規(guī)模集群訓(xùn)練和推理時(shí)的穩(wěn)定性提升，并且復(fù)用了自動(dòng)化的能力去應(yīng)對(duì)數(shù)據(jù)分布變化問題。

機(jī)器之心：基于 “數(shù)據(jù)、算法和工程” 這三個(gè)要素，你認(rèn)為你們實(shí)現(xiàn)了 “用更少資源取得了更優(yōu)效果” 的成就，有沒有具體數(shù)字可以說明這一點(diǎn)？

王長(zhǎng)虎：我們的研發(fā)效率極高、迭代速度極快，Runway 成立了 5 年多時(shí)間，融資幾億美金，Pika 成立了近一年，融資大幾千萬美金。我們正式訓(xùn)練模型是在 2023 年下半年，花了 3 個(gè)月左右的時(shí)間就做到了全球第一梯隊(duì)的水平，資源資金的消耗比 Runway、Pika 至少小了一個(gè)數(shù)量級(jí)。

未來計(jì)劃通過輕量產(chǎn)品吸引用戶

機(jī)器之心：目前 PixVerse 的策略是通過加速技術(shù)進(jìn)步來取得優(yōu)勢(shì)，還是更多側(cè)重于提高市場(chǎng)曝光度？

王長(zhǎng)虎：我們目前觀察到，像用戶用 Pika、Runway 這些平臺(tái)制作的視頻在 YouTube 或 TikTok 等主流社交媒體上并沒有太多播放量，很多 AI 視頻生成廠商目前的受眾更多在服務(wù)一小部分 AI 發(fā)燒友。

但我們的目標(biāo)是希望技術(shù)能去找到具體的消費(fèi)場(chǎng)景，滿足實(shí)際需求，這里面需要用戶對(duì)我們的技術(shù)信心，所以我們需要展示我們的技術(shù)能力，讓用戶愿意去使用。

機(jī)器之心：你的意思是你們計(jì)劃首先找到一個(gè)適合你們平臺(tái)的應(yīng)用場(chǎng)景，然后與創(chuàng)作者合作，優(yōu)化這個(gè)場(chǎng)景，并通過這種方式吸引用戶嗎？

王長(zhǎng)虎：我們首先確定的是，我們的平臺(tái)不僅會(huì)提供技術(shù)，還會(huì)推出產(chǎn)品。技術(shù)只是起點(diǎn)，我們要解決的核心問題是如何利用這些技術(shù)創(chuàng)造的內(nèi)容。我們已經(jīng)有一些思路了。比如，幫創(chuàng)作者用《原神》中的人物進(jìn)行高質(zhì)量的二次創(chuàng)作。類似的場(chǎng)景嘗試內(nèi)部還有很多，我們?cè)诜e極嘗試，這部分產(chǎn)品主要面向 C 端用戶。

機(jī)器之心：你認(rèn)為當(dāng)前整體的視頻生成賽道競(jìng)爭(zhēng)局勢(shì)如何？

王長(zhǎng)虎：現(xiàn)在的競(jìng)爭(zhēng)雖然已經(jīng)開始，但真正激烈的階段還未到來。我們發(fā)現(xiàn)目前大部分的用戶只是停留在了解 AI 視頻產(chǎn)品的階段，并沒有真正在使用產(chǎn)品去創(chuàng)作，這表明市場(chǎng)的增量仍然很大。

不過，我們認(rèn)為并非只有在技術(shù)完全成熟時(shí)才有商業(yè)化機(jī)會(huì)。即便我們目前的技術(shù)僅支持生成數(shù)秒的視頻，但已經(jīng)有用戶在此基礎(chǔ)上做出了大片級(jí)的作品。在這個(gè)階段，我們正考慮哪些特性能更廣泛地吸引 C 端消費(fèi)者，使他們覺得產(chǎn)品既有趣又實(shí)用，并愿意去傳播。這部分工作是目前我們的戰(zhàn)略核心。

機(jī)器之心：你們對(duì)公司半年或者一年后的預(yù)期是什么？

王長(zhǎng)虎：在未來 6-12 個(gè)月里，我們希望用 AI 制作出 15 秒長(zhǎng)的可消費(fèi)短視頻。實(shí)際上，抖音剛開始時(shí)就是從 15 秒的視頻開始的，所以我認(rèn)為這樣的長(zhǎng)度足以承載豐富的信息供用戶消費(fèi)。我們希望這些內(nèi)容是由 AI 生成的，同時(shí)也是用戶感興趣、愿意傳播和瀏覽的。這些內(nèi)容可能是單鏡頭拍攝，也可能是多個(gè)鏡頭組合的，但都能講述故事并承載信息。

未來，我們希望實(shí)現(xiàn)視頻的實(shí)時(shí)秒級(jí)生成。我相信一旦做到這一點(diǎn)，將會(huì)對(duì)整個(gè)內(nèi)容行業(yè)、視頻行業(yè)帶來巨大的顛覆。因?yàn)槲覀兡壳跋氲降亩际谴媪康膱?chǎng)景，而這將是一個(gè)全新的物種，帶來許多增量的新體驗(yàn)和玩法，這些都是我們和同行未來需要一起探索和理解的。

機(jī)器之心：要達(dá)到這個(gè) 6-12 個(gè)月的目標(biāo)，公司還需要哪些方面的進(jìn)步？

王長(zhǎng)虎：首先是視頻生產(chǎn)的基礎(chǔ)能力，繼續(xù)提升準(zhǔn)確性和一致性，目前的技術(shù)仍然存在一些瑕疵，我們希望繼續(xù)改進(jìn)。另外，我們希望能支持生成更長(zhǎng)時(shí)間的視頻。

機(jī)器之心：視頻內(nèi)容如果實(shí)現(xiàn)秒級(jí)實(shí)時(shí)生成了，可能會(huì)發(fā)生什么？

王長(zhǎng)虎：現(xiàn)在人們消費(fèi)視頻的方式是在電影院觀看相同的電影，或者在網(wǎng)上觀看相同的劇集。但是 AI 視頻生成技術(shù)意味著未來我們可能實(shí)現(xiàn)秒級(jí)甚至實(shí)時(shí)的視頻生成。

這種實(shí)時(shí)生成允許我們?cè)谝曨l播放時(shí)改變其某些元素，比如讓觀眾成為視頻中的主角，并且可以實(shí)時(shí)變化。這使得每個(gè)觀看者都能與視頻互動(dòng)，參與到視頻的發(fā)展過程中，每個(gè)人看到的內(nèi)容都是不同的。這種技術(shù)能夠理解每個(gè)人的喜好，并根據(jù)這些喜好定制化視頻內(nèi)容，就像創(chuàng)造一個(gè)平行宇宙一樣。

未來，我們獲取信息的方式可能會(huì)變?yōu)橥扑]加生成結(jié)合的方式，每個(gè)人看到的視覺內(nèi)容都會(huì)不一樣。由于互聯(lián)網(wǎng)上的信息已經(jīng)高度視頻化，這個(gè)領(lǐng)域的未來想象空間非常大，但這需要逐步實(shí)現(xiàn)，從一個(gè)模型應(yīng)用開始，慢慢發(fā)展到更遠(yuǎn)大的目標(biāo)。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：天承辦公室 > 《022機(jī)器之心》

舉報(bào)/認(rèn)領(lǐng)