相信很多大家對(duì)還得是開源！潞晨Open-Sora技術(shù)路線公開，一鍵生成16秒720p視頻，質(zhì)量更高訓(xùn)練成本更低還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

16秒720p高清視頻，現(xiàn)在人人可免費(fèi)一鍵生成!

無論是精致的人物肖像:

還是炫酷的科幻大片:

亦或是生動(dòng)有趣的動(dòng)畫:

流暢的變焦效果:

以上生成效果，全部來自免費(fèi)開源的潞晨Open-Sora。

從3月發(fā)布以來，潞晨Open-Sora一直熱度不減，GitHub上攬星已經(jīng)17.5K。

（GitHub:https://github.com/hpcaitech/Open-Sora）

英偉達(dá)入股的AI公司Lambda Labs，也基于潞晨Open-Sora模型權(quán)重打造了數(shù)字樂高宇宙。

而在公布模型權(quán)重和訓(xùn)練細(xì)節(jié)后，潞晨Open-Sora還在持續(xù)開源中。

最近，其幕后團(tuán)隊(duì)在GitHub上曬出了技術(shù)路線，進(jìn)一步披露了最新版本模型的訓(xùn)練核心內(nèi)容報(bào)告地址:https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md。

具體細(xì)節(jié)，一起來看。

訓(xùn)練成本再降低

最新版本的潞晨Open-Sora在此前基礎(chǔ)上引入了視頻壓縮網(wǎng)絡(luò)（Video Compression Network）、更優(yōu)擴(kuò)散模型算法、更多的可控性，并利用更多數(shù)據(jù)訓(xùn)練出了1.1B擴(kuò)散生成模型。

能在保障模型輸出質(zhì)量的同時(shí)，降低計(jì)算資源的消耗。

其中，引入視頻壓縮網(wǎng)絡(luò)是OpenAI的Sora同款方法。它能在時(shí)間維度上進(jìn)行4倍壓縮，無需抽幀，可以使用原始FPS生成視頻。

考慮到訓(xùn)練一個(gè)3D VAE的成本太高，團(tuán)隊(duì)嘗試讓模型重新利用在2D VAE中學(xué)習(xí)到的知識(shí)。在2D VAE壓縮后，時(shí)間維度上的相鄰特征仍然高度相關(guān)。

因此團(tuán)隊(duì)提出了一個(gè)簡(jiǎn)單的視頻壓縮網(wǎng)絡(luò)（即VAE），它能首先在空間維度上實(shí)現(xiàn)8x8倍的壓縮，再從時(shí)間維度上壓縮4倍。

該網(wǎng)絡(luò)框架如下:

具體訓(xùn)練過程分為三步:

1、前380K步，在8個(gè)GPU上訓(xùn)練，凍結(jié)2D VAE的權(quán)重，只訓(xùn)練3D VAE部分，即對(duì)時(shí)間維度的壓縮重建。訓(xùn)練目標(biāo)為對(duì)2D VAE encoder輸出的特征進(jìn)行時(shí)間維度的壓縮重建，并添加一個(gè)identity loss使得新訓(xùn)練的3D VAE輸出的特征盡可能和原始2D VAE的特征相似。團(tuán)隊(duì)發(fā)現(xiàn)加上這種identity loss可以很快讓整個(gè)VAE達(dá)到良好的壓縮重建性能，并在下一階段收斂速度快很多。

2、接下來的260K步，移除掉identity loss，繼續(xù)單獨(dú)訓(xùn)練3D VAE部分。

3、最后540K步，由于發(fā)現(xiàn)只重建2D VAE特征并不能進(jìn)一步提升性能，所以解凍了2D VAE權(quán)重，開始訓(xùn)練整個(gè)VAE模型來重建原始視頻。該階段在24個(gè)GPU上完成。

其中前兩個(gè)階段的訓(xùn)練數(shù)據(jù)使用20%圖像和80%視頻，視頻用17幀進(jìn)行訓(xùn)練;最后一個(gè)階段用34幀的隨機(jī)幀數(shù)視頻進(jìn)行訓(xùn)練，使VAE模型可以壓縮任意長(zhǎng)度的視頻。訓(xùn)練和推理的代碼已開源。

Rectified flow和模型適配

另外，基于最新Stable Diffusion3的開源成果，提供了一套完整的訓(xùn)練解決方案。

Stable Diffusion3通過采用了rectified flow技術(shù)替代 DDPM，顯著提升了圖片和視頻生成的質(zhì)量。

潞晨Open-Sora團(tuán)隊(duì)帶來的技術(shù)包括:

簡(jiǎn)單易用的整流（rectified flow）訓(xùn)練

用于訓(xùn)練加速的 Logit-norm 時(shí)間步長(zhǎng)采樣

基于分辨率和視頻長(zhǎng)度的時(shí)間步長(zhǎng)采樣

通過這些技術(shù)的整合，不僅能夠加快模型的訓(xùn)練速度，還能顯著減少推理階段的等待時(shí)間，確保用戶體驗(yàn)的流暢性。

此外，這套訓(xùn)練方案還支持在推理過程中輸出多種視頻寬高比，滿足了多樣化場(chǎng)景下的視頻素材需求，為視頻內(nèi)容創(chuàng)作者提供了更加豐富的創(chuàng)作工具.

此外，技術(shù)報(bào)告中還透露了更多模型訓(xùn)練的核心細(xì)節(jié)，包括數(shù)據(jù)清洗和調(diào)優(yōu)的使用技巧。同時(shí)團(tuán)隊(duì)構(gòu)建了更完善的模型評(píng)估體系，保障模型的穩(wěn)健性和泛化能力。

通過提供可自行一鍵部署的Gradio應(yīng)用，并支持調(diào)節(jié)輸出的運(yùn)動(dòng)分?jǐn)?shù)、美學(xué)分?jǐn)?shù)和鏡頭移動(dòng)方式等參數(shù)，還能一鍵通過GPT-4o 自動(dòng)修改指令并支持中文輸入。

傳送門

文生視頻爆火后，潞晨Open-Sora持續(xù)開源為該領(lǐng)域發(fā)展做出了貢獻(xiàn)。

潞晨Open-Sora可零門檻免費(fèi)獲得模型權(quán)重、全套訓(xùn)練代碼，沉浸式游戲、創(chuàng)意廣告、制作影視大片……都能來試試~

最后，想要了解潞晨Open-Sora更多詳情，可訪問GitHub主頁:

https://github.com/hpcaitech/Open-Sora

以上就是關(guān)于【還得是開源！潞晨Open-Sora技術(shù)路線公開，一鍵生成16秒720p視頻，質(zhì)量更高訓(xùn)練成本更低】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！