相信很多大家對(duì)阿里終于殺入AI視頻生成！一鍵直出音畫同步國(guó)風(fēng)視頻，還能讀懂中國(guó)古詩(shī)還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

阿里終于殺入AI視頻生成賽道!

9月19日云棲大會(huì)上，阿里CTO周靖人宣布通義萬(wàn)相全面升級(jí)。其中最大的亮點(diǎn)之一便是通義萬(wàn)相全自研AI視頻生成大模型同時(shí)上線手機(jī)端和PC端，并且面向公眾免費(fèi)開放。

不用排隊(duì)、也不用到處借號(hào)了，直接登陸通義萬(wàn)相官網(wǎng)或下載通義App即可體驗(yàn)。（相關(guān)鏈接已同步至文末）

頗有誠(chéng)意的是，相比其他模型發(fā)布“先占位后迭代”的思路，阿里這次還一次性放出了兩個(gè)創(chuàng)作入口:文生視頻和圖生視頻。

看來(lái)是憋了個(gè)大的。

據(jù)官方介紹，通義萬(wàn)相AI目前能夠一鍵生成最長(zhǎng)5秒、每秒30幀、720P分辨率的音畫同步視頻，并且在核心架構(gòu)Diffusion+Transformer的加持下，支持復(fù)雜與大幅度運(yùn)動(dòng)生成，對(duì)中式元素針對(duì)性優(yōu)化了概念理解和生成能力，被第一波實(shí)測(cè)的網(wǎng)友和媒體譽(yù)為“更懂中國(guó)風(fēng)”的大模型。

官方演示Demo

據(jù)“AI新榜”觀察，與以往發(fā)布的AI視頻應(yīng)用相比，通義萬(wàn)相是少見的能夠同時(shí)生成視頻和音頻的應(yīng)用。同賽道上別的產(chǎn)品往往單次只能生成視覺信息，需要通過(guò)后續(xù)的一套工作流添加配音或音效，才能制作出真正聲畫并茂的視頻。

而這次，通義萬(wàn)相再次拉低了AI視頻制作的門檻:生成的視頻都自帶聲音，直接省去單獨(dú)制作音效的環(huán)節(jié)。

更懂中式元素、使用更簡(jiǎn)單的通義萬(wàn)相在生成效果上表現(xiàn)如何?在競(jìng)爭(zhēng)激烈的AI視頻生成賽道上，通義萬(wàn)相的優(yōu)勢(shì)又在哪兒?“AI新榜”第一次時(shí)間進(jìn)行了一番實(shí)測(cè)。

一鍵直出音畫同步視頻，AI視頻生成結(jié)束默片時(shí)代

通義萬(wàn)相PC端目前每天登陸送50個(gè)靈感值，支持約10條視頻生成。而手機(jī)端App則開放了每日不限次使用，量大管飽，因此我們這次實(shí)測(cè)選擇在手機(jī)端App上進(jìn)行。

測(cè)試分為文生視頻和圖生視頻兩個(gè)部分，主要從人物運(yùn)動(dòng)、音效生成、模型擅長(zhǎng)風(fēng)格、復(fù)雜語(yǔ)義理解等方面著手進(jìn)行評(píng)測(cè)。

1.文生視頻

風(fēng)景與動(dòng)物運(yùn)動(dòng)類

首輪我們就給通義萬(wàn)相上了上強(qiáng)度，投喂了一首以意境取勝流傳千古的古詩(shī)給它，沒想到最后生成的視頻還真有兩下子:詩(shī)中的主要視覺要素一個(gè)不落，整體風(fēng)格也相當(dāng)有“中國(guó)味”，自動(dòng)配上的音效也都符合畫面要求。

同首古詩(shī)讓早前同樣被認(rèn)為擅長(zhǎng)國(guó)風(fēng)元素的可靈生成的畫面效果是這樣的:

在這里我們使用的是仍支持一定數(shù)量免費(fèi)生成的可靈1.0

此外，通義萬(wàn)相在處理寫實(shí)類風(fēng)景和動(dòng)物腿部方面表現(xiàn)出色，音效生成也與畫面高度契合。

要知道，AI視頻生成在處理動(dòng)物運(yùn)動(dòng)時(shí)，尤其是腿部動(dòng)作方面非常容易出錯(cuò)。雖然放在大屏幕上看，狼群移動(dòng)還是存在殘影等畫面瑕疵，但在手機(jī)上觀看，效果已經(jīng)足夠令人驚喜。

國(guó)風(fēng)人物

通義萬(wàn)相在生成古風(fēng)人物上的表現(xiàn)可謂是驚艷。人物走路和轉(zhuǎn)身的動(dòng)作都十分流暢，畫面風(fēng)格也是滿滿江湖武俠氣息，隨視頻生成的音效也很不錯(cuò)，仔細(xì)聽似乎還能聽到人物的腳步聲。不過(guò)提示詞中的“一把長(zhǎng)劍”直到視頻末尾才展現(xiàn)出來(lái)，這位“江湖俠客”最后的眼神也沒能夠聚焦在“鏡頭”上。

另一個(gè)視頻生成的效果也很不錯(cuò)，能夠理解提示詞中諸如“云鬢輕挽”等古風(fēng)詞匯，唯一不足之處就是畫面中人物拿的那把折扇“走著走著就散了”。

2.圖生視頻

任何一個(gè)新的AI視頻工具都逃不過(guò)這張經(jīng)典表情包測(cè)試:

但通義萬(wàn)相卻“拒絕”了我們的“玩梗”邀請(qǐng)，想著也許是圖片人數(shù)過(guò)多，我們測(cè)試了幾個(gè)有名的“單人”表情包。

蓋茨比舉杯但突然瞬移到草地:

火車臥鋪陶喆秒變草地陶喆:

黑人思考變草地散步:

從視頻生成的效果來(lái)看，除了存在人物不一致、動(dòng)作奇怪等AI視頻工具通病問(wèn)題，通義萬(wàn)相的腦洞還是不錯(cuò)的，就是最終生成的結(jié)果好像是跟“草地”過(guò)不去了，同視頻一起生成的聲音也存在“高度一致性”——伴隨著草地畫面出現(xiàn)的一陣?guó)B叫聲。

為了擺脫“草地困擾”，我們給這些圖片加了一些簡(jiǎn)單的提示詞。

提示詞:人物吃薯?xiàng)l

提示詞:人物將杯中酒一飲而盡

視頻最終生成的效果有點(diǎn)“慘不忍睹”:我們想讓陶喆老師吃點(diǎn)薯?xiàng)l，結(jié)果吃了塊蛋糕，陶喆老師的面部表情也是生成得有點(diǎn)抽象;小李子這邊稍微好一點(diǎn)，除了在“喝酒”這個(gè)動(dòng)作時(shí)面部稍有變形，整體的面部一致程度還可以。

加了提示詞之后視頻的音效總算不是“鳥語(yǔ)花香”了，雖然仍有些突兀，但總體來(lái)看還是符合視頻畫面的。

阿里正式入局，新一輪大廠AI視頻爭(zhēng)奪賽打響

從綜合表現(xiàn)來(lái)看，阿里通義萬(wàn)相在中式元素、復(fù)雜語(yǔ)義理解等方面展現(xiàn)了其差異化優(yōu)勢(shì)，但也存在和其他模型一樣的通病:生成的人物/動(dòng)物運(yùn)動(dòng)不符合物理規(guī)則，需要多輪抽卡。

但好在的是，在AI視頻抽卡率普遍較高的當(dāng)下，在手機(jī)端使用通義萬(wàn)相AI視頻模型還是免費(fèi)管飽的，所以目前可以放心大膽進(jìn)行測(cè)試和體驗(yàn)。

此外，或許由于功能剛上線，目前通義萬(wàn)相生成視頻的速度還很慢。實(shí)測(cè)下來(lái)，每支視頻生成時(shí)間為10分30秒，系統(tǒng)最多允許同時(shí)提交3個(gè)視頻在后臺(tái)排隊(duì)一一進(jìn)行生成。

音效生成方面雖同質(zhì)化比較嚴(yán)重，但總體而言表現(xiàn)尚可。不過(guò)如果提示詞包含的畫面元素過(guò)多、或視頻設(shè)定環(huán)境復(fù)雜就容易出現(xiàn)視頻內(nèi)容與音頻完全不相關(guān)的情況，甚至部分測(cè)試視頻生成的音效可以說(shuō)是“噪聲”不為過(guò)。

經(jīng)向官方證實(shí)，通義萬(wàn)相AI視頻功能目前是自動(dòng)生成聲音的，無(wú)法通過(guò)相關(guān)操作關(guān)掉或是通過(guò)提示詞取消音效。

可以說(shuō)，音效生成的加入在特定類型上（尤其對(duì)視頻質(zhì)量要求不高的用戶來(lái)說(shuō)）能簡(jiǎn)化視頻制作流程，但一旦音頻生成效果不佳則多少有些“畫蛇添足”了。

從產(chǎn)品層面上來(lái)看，在手機(jī)端上和AI生視頻在同一入口的是早前在國(guó)內(nèi)引爆C端創(chuàng)作熱潮的“全民舞王”（如今已整合為“全民舞臺(tái)”）。

無(wú)論是“全民舞王”還是AI生視頻功能，可以看到通義都致力于在產(chǎn)品層面上降低普通用戶的使用門檻。

進(jìn)入通義AI生視頻功能界面，“熱門創(chuàng)意”允許用戶輕松一鍵絲滑做同款，“靈感擴(kuò)寫”則用于優(yōu)化提示詞，為普通用戶提供使用靈感。

國(guó)內(nèi)已有多家大廠在AI視頻生成領(lǐng)域有所布局并推出了相關(guān)產(chǎn)品。除了早前海內(nèi)外破圈的快手AI視頻模型可靈已“產(chǎn)品化”落地應(yīng)用外，還有字節(jié)跳動(dòng)的即夢(mèng)、百度的AI成片工具、騰訊的云端視頻創(chuàng)作平臺(tái)“騰訊智影”。

阿里早前憑借通義App里的“全民舞王”功能引爆了一波討論，但僅單點(diǎn)的圖生視頻玩法并不足以持續(xù)保持熱度。

如今在可靈已經(jīng)進(jìn)化到1.5版本，各項(xiàng)功能如“去水印”“視頻分辨率提升”“鏡頭控制”已逐漸補(bǔ)齊，阿里通義才發(fā)布自研AI視頻生成模型，看起來(lái)姍姍來(lái)遲，但在AI視頻生成底層技術(shù)仍待進(jìn)化的情況下，國(guó)產(chǎn)AI視頻生成的頭把交椅會(huì)鹿死誰(shuí)手還真不好說(shuō)。

通義萬(wàn)相AI視頻生成PC端地址:

https://tongyi.aliyun.com/wanxiang/wanxvideo

以上就是關(guān)于【阿里終于殺入AI視頻生成！一鍵直出音畫同步國(guó)風(fēng)視頻，還能讀懂中國(guó)古詩(shī)】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！