Runway正式發(fā)布全新Gen3模型,AI視頻的王,它回來了。
相信很多大家對Runway正式發(fā)布全新Gen3模型,AI視頻的王,它回來了。還不知道吧,今天菲菲就帶你們一起去了解一下~.~!
在AI視頻被一眾新秀,比如Sora、Luma、可靈等等占據(jù)注意力的時候,已經(jīng)有人忘了AI視頻領(lǐng)域統(tǒng)治了N久的王者,他叫Runway。
去年的11月份更新了一次Gen2模型模型,然后宣布他們要開始組團隊開始進軍世界模型之后。
他們就再無動靜了。
一晃眼,將近8個月的時間。
Sora、Vidu、LTX、Luma、可靈輪番炸場。Runway依然不為所動,甚至都有好事者,做了一張梗圖。
沉入海底的墓碑。
但是今天,那個AI視頻領(lǐng)域的王者。
他終于回來了。
在悄無聲息之間,他正式發(fā)布了它的Gen3模型。
https://runwayml.com/blog/introducing-gen-3-alpha/
話不多說,先放幾個Gen3的Case。
我真的一聲長嘆,你要說這AI時代,是誰拉開了AI視頻的長河,那自始至終,也只有一個名字。
Runway。
2022年8月,跟Stability AI一起訓(xùn)了一個舉世聞名的模型,叫Stable Diffusion。
2023年2月發(fā)布Gen1,支持視頻風格轉(zhuǎn)繪。
2023年6月發(fā)布Gen2,開啟了文生視頻和圖生視頻的序章。
2024年6月,整整一年的時間,帶著世界模型的Gen3,終于TM的來了!!!
我的心情真的感慨萬分,去年Gen2剛剛上線時,我為了展示AI視頻的能力,做了《流浪地球3》的預(yù)告片,而這個片子,也一舉讓國內(nèi)的所有影視人,看到了AI視頻的魅力。
而后11月Gen2模型更新,光影質(zhì)感更穩(wěn)定,我又做了《三體》;2月為了參加Runway的Gen48比賽,我又做了《TheLastGoodbye》。
可以說,我命運的齒輪,也一直是跟runway一起做著數(shù)不清的糾纏。
而今天,Runway的Gen3終于發(fā)布了,雖然是Alpha版本。
但也證明了,王,他一直都在。
我把所有的官方發(fā)的片子都看了一遍,大概總結(jié)了幾個點:
1.極度穩(wěn)定的光影
看官方的這個Case。
Prompt:在日本城市以超高速移動的火車窗戶上,一個女人的微妙倒影。
夜景的燈光,絕對是AI視頻里面最難搞的之一,更別提在高速火車上極速變換的夜景燈光,但是Gen3跑出來的這個效果,不說完美,但是依然變化極其豐富,且穩(wěn)定的非??膳隆?/p>
2.10s長度
可以看到,Gen3所有的case都是10s鐘的。
而且大概率,Gen3開放給大家用的時候,大家生成的時長也是10s。
最重要的是,根據(jù)他們老板Cristobal Valenzuela說,Gen3的模型生成速度還非常快。
5s的視頻生成時間45s,10s的視頻生成時間90s。
基本秒殺現(xiàn)在市面上所有第二代AI視頻的生成速度了。畢竟動不動幾分鐘一個,這個時間還是挺難頂?shù)摹?/p>
3.審美強
之前很多的AI視頻產(chǎn)品,審美就是一坨。真的。。。實在是太丑了。
還有總是給自己亂加戲的,關(guān)鍵加的還是巨丑的戲。用起來神煩,說的就是那個Luma。
反觀Runway,一直以來的特點就是審美強,畢竟正兒八經(jīng)做影視起家的,還去做了《瞬息全宇宙》的特效,比外行強多了。
比如這兩個。
Prompt:博物館里一幅畫的廣角對稱鏡頭。攝像機縮進到靠近畫面。
Prompt:一個隱身人物在高樓大廈之間升空的航拍視角。
這配色和風格,喜歡,是真喜歡。
4.想象力看著靠譜
很多模型都是做真實世界的效果很強,但是一旦到了一些幻想、玄幻、科幻、魔幻的畫面上,就直接廢了。就感覺跟過擬合了一樣。
Runway Gen3的這個看著很強,但是實際不好說,因為還得實際上手測。不過我自己,對Runway還是非常有信心的。
比如:
Prompt:在夜晚的破舊城市里,透過窗戶看到一個巨大奇怪的生物在行走,只有一盞街燈微弱地照亮了周圍。
Prompt:通過一個有閃爍燈光的走廊進行超級延時攝影,一塊銀色的布料飛過整個走廊。
5.物理規(guī)律
物理規(guī)律簡直已經(jīng)是第二代AI視頻的標配了。Runway Gen3的物理規(guī)律看著也非常的棒。基本上是行業(yè)第一梯隊水平。
Prompt:一位年長男士在側(cè)面受光的鋼琴上演奏。
整體,我很喜歡。
在官方文檔里,Runway對Gen3alpha的描述是這樣的:
"Gen-3Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training. It is a major improvement in fidelity, consistency, and motion over Gen-2, and a step towards building General World Models."
"Gen-3Alpha 是 Runway 在為大規(guī)模多模態(tài)訓(xùn)練構(gòu)建的新基礎(chǔ)設(shè)施上訓(xùn)練的即將推出的一系列模型中的第一個。與 Gen-2相比,它在保真度、一致性和動作方面有了重大改進,是朝著構(gòu)建通用世界模型邁出的一步。"
但是世界模型,不是最重要的,因為大家已經(jīng)看過Sora、可靈啥的了。
最重要的是這句話。
"現(xiàn)有的控制模式包括 Motion Brush、高級攝像頭控制、導(dǎo)演模式以及即將推出的工具,用于更精細地控制結(jié)構(gòu)、風格和動作。"
我跟很多的AI創(chuàng)作者有過很多的交流,大家有一個觀點出奇的統(tǒng)一,那就是:Luma和可靈是玩具。
因為可控性。
一個完整的AI視頻作品,要的除了物理規(guī)律,還要超強的可控性,要不然就會像氣球人的導(dǎo)演控訴Sora一樣,Roll特么300個鏡頭才有1個能用的。
而Luma和可靈,都只有文生視頻和圖生視頻這兩種模式,甚至可靈的圖生視頻都還沒上線。
不夠,這遠遠不夠。
而Runway在2018年成立的那一天,他們的目標,就是顛覆電影行業(yè)。
所以他們清楚,可控性這玩意,太重要了。
所以他們做了相機運動,做了運動筆刷,做了人物扣除,做了各種各樣的有趣的工具。
這一切,都是為了創(chuàng)作者們,能做出更可控的畫面。而我到了如今,用的最多的AI視頻工具,也還依然是Runway。
現(xiàn)在,Runway的Gen3,直接帶著那全套的工具,回來了。
未來幾天內(nèi),就會開放給所有人。
以Runway的Gen3Alpha推出的今天為信號。
我覺得,AI視頻正式進入了2.0時代。
嗯,那個全面沖擊的時代。
迎接變革。
也迎接,王的歸來吧。
以上就是關(guān)于【Runway正式發(fā)布全新Gen3模型,AI視頻的王,它回來了?!康南嚓P(guān)內(nèi)容,希望對大家有幫助!