相信很多大家對浙大、螞蟻集團(tuán)推出MaPa：文本生成超真實(shí)3D模型還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

浙江大學(xué)、螞蟻集團(tuán)、深圳大學(xué)聯(lián)合推出了創(chuàng)新模型MaPa。

與傳統(tǒng)紋理方法不同的是，MaPa通過文本能直接生成高分辨率、物理光照、超真實(shí)材質(zhì)的3D模型，可以極大提升游戲、VR、AR、影視等行業(yè)的開發(fā)效率。

研究人員在多個知名平臺對MaPa進(jìn)行了綜合測試。結(jié)果顯示，在無參考圖像的情況下MaPa生成的模型材質(zhì)、分辨率、局部細(xì)節(jié)，比TEXTure、Text2tex、Fantasia3D等模型的效果更好。

論文地址:https://arxiv.org/abs/2404.17569

MaPa功能展示

分段圖像生成

為了更好地還原用戶的文本提示和提升模型質(zhì)量，MaPa在生成的過程中會將3D網(wǎng)格細(xì)分為多個細(xì)小的分段。該過程有點(diǎn)類似將一幅畫作分解成多個小碎塊，這樣每塊的細(xì)節(jié)都能夠獨(dú)立處理，以便于后續(xù)上色和材質(zhì)的精細(xì)調(diào)整。

然后，MaPa會將這些3D分段投影到2D空間中生成2D圖像。為了獲得最佳的2D分割圖像，MaPa需要選擇一個合適的視角。

通過均勻采樣一系列視角，并選擇能夠產(chǎn)生最多2D分段的視角作為起始視角，以確保生成的2D圖像能夠盡可能多地捕捉到3D分段的細(xì)節(jié)。

在2D圖像生成中，MaPa使用了ControlNet，這是一個預(yù)訓(xùn)練的2D擴(kuò)散模型，能夠根據(jù)給定的條件生成相應(yīng)的2D圖像。研究人員對ControlNet進(jìn)行了微調(diào)，使其能夠適應(yīng)特定的分段條件，從而生成與3D分段更加對齊的2D圖像。

3D材質(zhì)分組

通常在3D模型的材質(zhì)生成過程中有一個難題，就是該如何將不同的材質(zhì)部分有效地組織和管理。而MaPa通過使用“材質(zhì)分組”模塊，來自動智能識別和分組相似材質(zhì)的3D分段，從而提升渲染的質(zhì)量，同時(shí)又減少了后續(xù)的優(yōu)化流程。

MaPa使用了GPT-4v模型進(jìn)行材質(zhì)分類。GPT-4v不僅識別準(zhǔn)確率高，對于用戶的文本語義理解能力也很強(qiáng)，可以精準(zhǔn)提煉出文本中的特殊材質(zhì)。

此外，材質(zhì)分組還內(nèi)置了一個材質(zhì)顏色相似性分析模塊，通過反射率估計(jì)網(wǎng)絡(luò)來評估不同分段的顏色，并在CIE顏色空間中進(jìn)行比較。

如果兩個分段的材質(zhì)顏色足夠接近，就會被歸為同一組進(jìn)一步提升材質(zhì)的一致性。

材質(zhì)圖優(yōu)化

對材質(zhì)分好組之后，MaPa會從一個預(yù)建的材質(zhì)圖庫中檢索最相似的材質(zhì)圖作為初始值，再通過可微渲染模塊對材質(zhì)圖的參數(shù)進(jìn)行優(yōu)化，使得渲染圖像盡可能接近生成的3D模型。

在渲染的過程中MaPa使用了DiffMat v2框架，能夠?qū)⒉馁|(zhì)圖轉(zhuǎn)換為紋理空間映射，例如，反照率圖、法線圖和粗糙度圖等，使得選定的材質(zhì)圖參數(shù)使其更貼近生成的3D模型。

材質(zhì)圖優(yōu)化模塊還包括一個可微分渲染器，能夠根據(jù)材質(zhì)圖渲染出2D圖像，并與生成的3D模型進(jìn)行比較，通過最小化兩者之間的差異來優(yōu)化材質(zhì)圖參數(shù)。這種方法不僅提高了材質(zhì)的真實(shí)感，還保持了渲染的效率。

由于3D模型的架構(gòu)比較復(fù)雜，一次難以生成精準(zhǔn)生成。所以，MaPa使用了連續(xù)迭代的方法，可以為模型的每個部分生成一致且真實(shí)的材質(zhì)，即便是那些非常復(fù)雜的3D模型架構(gòu)也沒問題。

以上就是關(guān)于【浙大、螞蟻集團(tuán)推出MaPa：文本生成超真實(shí)3D模型】的相關(guān)內(nèi)容，希望對大家有幫助！