相信很多大家對(duì)AI生成視頻，究竟有多癲狂?還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

最近，各路視頻生成AI放出的Demo讓人眼花繚亂?！叭輯邒呶棺限背韵隳c”“唐僧啃雞腿、吃漢堡”“爾康失態(tài)”等“名場(chǎng)面”在各大短視頻平臺(tái)廣為流傳。

“刺激”的點(diǎn)在于，網(wǎng)友們無(wú)法預(yù)料一些經(jīng)典的影視畫(huà)面下一秒會(huì)衍生出什么劇情，也正因?yàn)槿绱?，AI視頻爆改在推出短短幾周后，便迅速火遍了短視頻平臺(tái)。抖音上，相關(guān)話題“當(dāng)AI擴(kuò)圖卷土重來(lái)”登上熱榜，截至目前共有3.9億次播放。

AIGC猶如一根魔法棒，擁有無(wú)限的創(chuàng)造力。它可以根據(jù)指定的需求和樣式，創(chuàng)作出文章、報(bào)告、音樂(lè)、圖像、視頻。值得一提的是，“玩?！薄岸蝿?chuàng)作”在短視頻界一直被網(wǎng)友津津樂(lè)道，但強(qiáng)大的AI介入后，爆改內(nèi)容與“真實(shí)”的距離相差甚遠(yuǎn)，甚至南轅北轍，有點(diǎn)像是打開(kāi)了潘多拉魔盒。

AI技術(shù)突飛猛進(jìn)，成果讓人應(yīng)接不暇?；仡欉^(guò)去兩年，AI圈頻繁傳出“炸裂”的消息。從ChatGPT發(fā)布到視頻生成大模型Sora問(wèn)世，都引發(fā)了科技界、產(chǎn)業(yè)界的廣泛關(guān)注。Sora的出現(xiàn)更是推動(dòng)了AIGC技術(shù)在全球范圍的邁進(jìn)。

近期，快手的“可靈（Kling）”大模型成了AI界的當(dāng)紅炸子雞。就在7月上旬的世界人工智能大會(huì)WAIC2024上， 可靈AI迎來(lái)第三次大的升級(jí)，發(fā)布了一系列新功能，在視頻生成質(zhì)感、美感、可玩性方面大大提升，帶來(lái)了創(chuàng)作體驗(yàn)上的又一次躍升?？伸`AI網(wǎng)頁(yè)版上線后，申請(qǐng)的用戶數(shù)量已超過(guò)70萬(wàn)。

業(yè)內(nèi)認(rèn)為，AI大模型與全球生成式AI的行業(yè)生態(tài)和產(chǎn)業(yè)格局息息相關(guān)，可靈的出現(xiàn)，一石激起千層浪，以可靈為代表的視頻生成大模型，早已突破“豐富創(chuàng)意庫(kù)工具”層面的較量，轉(zhuǎn)向了生產(chǎn)力工具的革新。

爆火的“中國(guó)版Sora”

2024年2月15日，大洋彼岸，OpenAI的AI生成式視頻大模型Sora的到來(lái)，似乎讓AI有了睜眼看世界的可能，一經(jīng)發(fā)布便引起全球關(guān)注。

Sora能用文字指令生成長(zhǎng)達(dá)1分鐘準(zhǔn)確反映用戶提示的視頻，它可以創(chuàng)建包含多人、特定運(yùn)動(dòng)類型和詳細(xì)背景的復(fù)雜場(chǎng)景。不僅能夠呈現(xiàn)場(chǎng)景細(xì)節(jié)，還能生成具有豐富情感的角色。

一位博主給Sora、Pika、Runway、Stable Video 四個(gè)模型輸入了相同的 prompt:美麗、白雪皚皚的東京熙熙攘攘，鏡頭穿過(guò)熙熙攘攘的城市街道，跟隨幾個(gè)人享受美麗的雪天，在附近的攤位購(gòu)物，絢麗的櫻花花瓣隨著雪花隨風(fēng)飄揚(yáng)?？梢钥吹剑啾扔谄渌齻€(gè)視頻生成模型，Sora 在生成時(shí)長(zhǎng)、連貫性等方面都有顯著的優(yōu)勢(shì)。

業(yè)內(nèi)幾乎可以用“Sora前時(shí)代”和“Sora后時(shí)代”來(lái)描述“AI視頻生成”這件事。

“理解和模擬真實(shí)世界”，憑借這一點(diǎn)，Sora就徹底與AI視頻賽道的Runway、Pika等公司拉開(kāi)了一個(gè)段位。在Sora前時(shí)代，如Runway、Pika、Stable Video Diffusion等大量創(chuàng)業(yè)公司還在百家爭(zhēng)鳴，而Sora到來(lái)后，這些公司遭到了降維打擊，不得不去重新審視未來(lái)的發(fā)展之路了。

Sora這款遙遙領(lǐng)先的模型出現(xiàn)后，業(yè)界猜測(cè)視頻模型“大的要來(lái)了”，但數(shù)月過(guò)去，卻遲遲未有對(duì)外開(kāi)放體驗(yàn)的跡象，迫切想體驗(yàn)的用戶們只能一等再等。

而一向務(wù)實(shí)的快手，最近放出了“大殺器”——推出了一個(gè)視頻生成大模型，堪稱“中國(guó)版Sora”，并高調(diào)宣布:老鐵，這回大的可能真來(lái)了。

6月6日，快手發(fā)布AI視頻模型可靈，發(fā)布當(dāng)天，諸多業(yè)內(nèi)人士獲得邀請(qǐng)碼進(jìn)行了第一波測(cè)試。從業(yè)內(nèi)的反饋以及可靈生成的視頻樣本來(lái)看，與Sora效果非常相近，在第一版五秒中的視頻中，業(yè)內(nèi)反饋無(wú)論技術(shù)路線，和訓(xùn)練數(shù)據(jù)質(zhì)量都較為突出。可靈似乎做到了如Sora一般極度真實(shí)地還原物理規(guī)律，甚至概念組合能力和想象力都表現(xiàn)得較為優(yōu)秀。

上線半個(gè)月后，快手可靈大模型發(fā)布重磅更新:正式開(kāi)放圖生視頻功能，支持將靜態(tài)圖像轉(zhuǎn)化為5秒鐘視頻，用戶可通過(guò)提示詞文本控制圖像中物體的運(yùn)動(dòng);同時(shí)推出視頻續(xù)寫功能，支持對(duì)生成視頻一鍵續(xù)寫和連續(xù)多次續(xù)寫，最長(zhǎng)可生成約3分鐘視頻。

直到最近，可靈又放出大招，發(fā)布了重磅新功能，包括Web端上線、畫(huà)質(zhì)提升、首尾幀和鏡頭控制功能加入，文生視頻時(shí)長(zhǎng)延長(zhǎng)至10秒。

在快手研究院執(zhí)行院長(zhǎng)蔡雄山看來(lái)，進(jìn)一步做大做強(qiáng)國(guó)產(chǎn)文生視頻大模型，可以充分發(fā)揮短視頻直播行業(yè)的優(yōu)勢(shì)?！岸桃曨l直播生態(tài)具有應(yīng)用場(chǎng)景多元、機(jī)制靈活、反應(yīng)速度快等特點(diǎn)，天然適合大模型訓(xùn)練和應(yīng)用場(chǎng)景布局?！辈绦凵秸f(shuō)。

快手在視頻大模型領(lǐng)域厚積薄發(fā)，“國(guó)產(chǎn)Sora”成色幾何?

有博主給Sora和可靈輸入了相同的文字，發(fā)現(xiàn)在視覺(jué)效果這一項(xiàng)上，Sora和可靈表現(xiàn)都較為優(yōu)秀，二者視頻生成的風(fēng)格都更偏向模擬真實(shí)世界的場(chǎng)景。但在細(xì)節(jié)表現(xiàn)方面，Sora更勝一籌，比如對(duì)人物五官的刻畫(huà)更細(xì)致，尤其是人在動(dòng)態(tài)場(chǎng)景下，五官?zèng)]有變形，幾乎是相對(duì)靜態(tài)的。關(guān)于連貫性和流暢度，Sora和可靈的畫(huà)面都表現(xiàn)得較為連貫、流暢，但對(duì)復(fù)雜場(chǎng)景的描述，Sora表現(xiàn)更好。

在不同場(chǎng)景的適配上，Sora的能力似乎更勝一籌。比如在對(duì)“云端上讀書(shū)的年輕人”的畫(huà)面生成上，可靈的貼圖感更重，素材間的融合度不高。

在應(yīng)用場(chǎng)景上，可靈主要應(yīng)用于短視頻領(lǐng)域，如創(chuàng)意短視頻、廣告宣傳片等。而Sora的應(yīng)用場(chǎng)景則更加廣泛，包括但不限于廣告、市場(chǎng)營(yíng)銷、視頻游戲開(kāi)發(fā)等領(lǐng)域。

雖然目前來(lái)看，可靈離Sora仍有一定距離，但在文生視頻領(lǐng)域，能達(dá)到公測(cè)水平，同時(shí)還要有足夠算力支撐公測(cè)的產(chǎn)品少之又少，目前技術(shù)層面快手顯然已迅速躋身到行業(yè)內(nèi)的領(lǐng)先集團(tuán)之中。

欲與Sora試比高

Sora之后，除了如今爆火的可靈，其它視頻生成大模型也在不斷涌現(xiàn)。

3月底，字節(jié)旗下Dreamina（即夢(mèng)）內(nèi)測(cè)視頻生成功能;4月底，生數(shù)科技首個(gè)文生視頻模型Vidu發(fā)布;還有Luma AI以及Runway迭代更新后的Gen-3Alpha等現(xiàn)象級(jí)爆款面世。

即夢(mèng)AI是字節(jié)旗下的一站式AIGC內(nèi)容專業(yè)創(chuàng)作平臺(tái)，支持文生視頻和圖生視頻，提供智能畫(huà)布、故事創(chuàng)作模式、以及首尾幀、對(duì)口型、運(yùn)鏡控制、速度控制等AI編輯功能。在今年6月上海國(guó)際電影節(jié)期間，抖音聯(lián)合博納影業(yè)出品制作的AIGC科幻短劇《三星堆:未來(lái)啟示錄》正式亮相。

這部短劇的最大亮點(diǎn)就是純AI制作，包括AIGC劇本創(chuàng)作、概念及分鏡設(shè)計(jì)、圖像到視頻轉(zhuǎn)換、視頻編輯和媒體內(nèi)容增強(qiáng)等十種AIGC技術(shù)，或?qū)⒔怄i傳統(tǒng)影視公司與AIGC技術(shù)產(chǎn)品合作、發(fā)展的新路徑。

圖源:即夢(mèng)AI公眾號(hào)

即夢(mèng)AI發(fā)布后不久，4月27日，在2024中關(guān)村論壇上，生數(shù)科技聯(lián)合清華大學(xué)發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性視頻大模型——Vidu展示的效果立刻刷屏。

據(jù)生數(shù)科技，Vidu支持一鍵生成16秒、1080P分辨率的視頻內(nèi)容。Vidu不僅能夠模擬真實(shí)物理世界，還擁有豐富想象力，具備多鏡頭生成、時(shí)空一致性高等特點(diǎn)。

圖源:Vidu

初創(chuàng)公司Luma AI在6月12日發(fā)布了新的 AI 視頻生成模型Dream Machine（造夢(mèng)機(jī)器），并且面向公眾開(kāi)放測(cè)試。很快，不僅官方放出的一系列樣片，社交網(wǎng)絡(luò)上還出現(xiàn)了一大堆由網(wǎng)友通過(guò)“造夢(mèng)機(jī)器”生成的視頻。

造夢(mèng)機(jī)器不僅支持通過(guò)文本生成視頻，也支持基于圖片和文本生成視頻，比如畫(huà)作《戴珍珠耳環(huán)的少女》中跳出的少女。目前有人已經(jīng)開(kāi)始利用造夢(mèng)機(jī)器創(chuàng)造“一日生活”的影像故事，比如美國(guó)中學(xué)生從早起到上學(xué)再到舞會(huì)的刻畫(huà)。

就在造夢(mèng)機(jī)器發(fā)布后不久，著名生成式AI平臺(tái)Runway在官網(wǎng)發(fā)布了全新文生視頻模型——Gen-3Alpha。與Gen-2相比，Gen-3在生成視頻的質(zhì)量、色彩、飽和度、光影、文本語(yǔ)義還原、運(yùn)鏡、動(dòng)作一致性、場(chǎng)景切換等實(shí)現(xiàn)大幅度提升。

Gen-3和Sora、可靈、DreamMachine一樣是個(gè)世界模型，具備模擬物理世界的能力。也就是說(shuō)，其生成視頻的物理效果，例如，下落、碰撞、觸摸、風(fēng)吹、生長(zhǎng)、雨水等都非常逼真。

7月2日，Runway宣布Gen-3Alpha向所有用戶開(kāi)放使用，每個(gè)月最少12美元才能使用。Gen-3一次性只能生成11秒的720P視頻，也不會(huì)帶任何背景音樂(lè)，有用戶表示Gen-3的功能比Sora更好，并將再次改變文生視頻賽道。

毋庸置疑的是，AI視頻正在不斷進(jìn)化，當(dāng)下視頻大模型的最大特點(diǎn)之一就是足夠真實(shí)。Sora、可靈等大模型生成視頻既符合物理規(guī)律，也能在物理邏輯上保持時(shí)間的連貫性。

此外，AI生成視頻長(zhǎng)度的延長(zhǎng)也是今年各個(gè)大模型最大的突破之一，之前Runway和Pika都只能生成出3-4秒的視頻，無(wú)法滿足長(zhǎng)素材的需求。梳理目前已對(duì)外公布的大模型視頻生成時(shí)長(zhǎng)，其中Sora為60秒，Vidu為32秒，快手的可靈提供的視頻續(xù)寫功能，支持連續(xù)多次續(xù)寫視頻內(nèi)容，在保證視頻一致性的前提下，最長(zhǎng)生成3分鐘視頻。

目前視頻大模型產(chǎn)品的輸入方式更加多元化。用戶不再局限于文生視頻，而是可以選擇圖像、視頻輸入。比如，用戶可以上傳一張靜態(tài)圖，而視頻大模型則會(huì)根據(jù)圖片制作視頻。

影視行業(yè)何去何從?

基于各大視頻生成大模型的逐漸落地，AI視頻的使用場(chǎng)景也在不斷拓寬，未來(lái)會(huì)在更多場(chǎng)景看到AIGC內(nèi)容，比如AIGC短劇?？梢灶A(yù)見(jiàn)，未來(lái)在廣告、影視內(nèi)容方面，需要用到真人拍攝的機(jī)會(huì)可能會(huì)越來(lái)越少，影視行業(yè)的創(chuàng)作能力以及制作壁壘或面臨巨大的挑戰(zhàn)。

工業(yè)化的影視制作幾乎遵循著嚴(yán)格的流水線生產(chǎn)，劇本、攝影、演員、服裝、化妝、燈光、特效等，不同工種、不同部門人員在不同平臺(tái)使用復(fù)雜影視制作工具，完成對(duì)作品的精雕細(xì)琢。

甚至前期劇本內(nèi)容上，AI能根據(jù)需求實(shí)現(xiàn)高效生成海量影視劇本，可以短期解決編劇創(chuàng)意貧瘠的問(wèn)題。而有了AI視頻生成模型，制作者發(fā)出不同指令就能完成一部影視作品，這將大幅減少前后期制作團(tuán)隊(duì)人數(shù)，降低制作成本;或者在同等成本情況下，縮短制作周期。

2月26日，中國(guó)首部文生視頻AI系列動(dòng)畫(huà)片《千秋詩(shī)頌》在央視一套播出，總共26集，每集約7分鐘，首次上線推出了《詠鵝》《春夜喜雨》等六集動(dòng)畫(huà)，聚焦國(guó)家統(tǒng)編語(yǔ)文教材200多首詩(shī)詞。

據(jù)介紹，在同等預(yù)算條件下，按照傳統(tǒng)動(dòng)畫(huà)制作流程計(jì)算，《千秋詩(shī)頌》至少需要8個(gè)月時(shí)間，依托大模型后，制作周期縮短至4個(gè)月。目前，這項(xiàng)應(yīng)用仍處于產(chǎn)研結(jié)合階段，未來(lái)大模型研發(fā)成熟后，制作周期和動(dòng)畫(huà)精細(xì)度都會(huì)加速迭代升級(jí)。

7月13日，國(guó)內(nèi)首部AIGC原創(chuàng)奇幻微短劇《山海奇鏡之劈波斬浪》上線快手，可靈大模型提供深度技術(shù)支持。

據(jù)了解，《山海奇鏡之劈波斬浪》從今年初開(kāi)始籌備，直到5月才有了第一版成片，但受限于當(dāng)時(shí)的技術(shù)，制作團(tuán)隊(duì)對(duì)呈現(xiàn)的效果并不滿意，一直在反復(fù)修改。6月，快手可靈大模型發(fā)布，導(dǎo)演陳坤與可靈團(tuán)隊(duì)溝通后，對(duì)整部片子進(jìn)行了重制，99%的鏡頭均由可靈生成。

《山海奇鏡之劈波斬浪》劇情

圖源:快手截圖

而就在7月初，抖音和博納合作的首部AIGC科幻短劇《三星堆:未來(lái)啟示錄》上線，抖音視頻大模型即夢(mèng)提供技術(shù)支持。一周之內(nèi)，抖音、快手相繼上線AIGC短劇作品，且背后均有平臺(tái)AI視頻技術(shù)支持，為“AIGC短劇”打樣的意圖明顯。

值得注意的是，AIGC在影視行業(yè)的應(yīng)用或?qū)⑾魅趺餍切?yīng)。很長(zhǎng)時(shí)間里，國(guó)內(nèi)影視制作方片酬成本負(fù)擔(dān)高，尤其是主角片酬占到總成本的一半甚至更高。AI生成視頻模型或?qū)⑷〈杏耙曌髌分忻餍茄輪T拍攝過(guò)程，制作團(tuán)隊(duì)或許只需要獲得演員的肖像使用許可以及音頻文件，即可通過(guò)AI模型完成影視作品的制作。

AI模型助力CG特效的廣泛運(yùn)用，可能使觀眾更關(guān)注角色而非演員本身，同時(shí)特效的增加使得明星出演的需求也可能下降，明星效應(yīng)受到一定程度影響。

在此背景下，影視從業(yè)者應(yīng)該要保持敏銳，無(wú)論是劇本創(chuàng)作、還是拍攝方面，從業(yè)者都要自我突破，全面擁抱 AI模型帶來(lái)的各種可能性。站在積極的視角，正如Elon Musk所言:“AI增強(qiáng)的人類將在未來(lái)幾年里創(chuàng)造出最好的作品。”

2024上半年，科技圈風(fēng)起云涌，不光是AI視頻給影視娛樂(lè)業(yè)帶來(lái)了前所未有的改變，在醫(yī)療、教育、電商、手機(jī)、金融、交通等領(lǐng)域，大模型也層出不窮，并在這些領(lǐng)域取得了顯著進(jìn)展和應(yīng)用成果。這些大模型的應(yīng)用不僅提高了各領(lǐng)域的智能化水平和服務(wù)質(zhì)量，也為未來(lái)的科技發(fā)展和產(chǎn)業(yè)升級(jí)奠定了堅(jiān)實(shí)基礎(chǔ)。

2024下半年，AI依然會(huì)是舞臺(tái)的主角，更龐大的隊(duì)伍將會(huì)高歌猛進(jìn)，令人無(wú)限期待。

以上就是關(guān)于【AI生成視頻，究竟有多癲狂?】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！