相信很多大家對(duì)上?？拼蟮乳_(kāi)源創(chuàng)新模型：文本生成精美3D服裝還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

上?？萍即髮W(xué)、賓夕法尼亞大學(xué)、Deemos科技和NeuDim科技的研究人員聯(lián)合推出了一個(gè)創(chuàng)新模型DressCode。

用戶通過(guò)DressCode只需要輸入文本就能生成各種精美的3D服裝模型，例如，一件法式蕾絲邊的連衣裙;紅色絲綢的睡衣等。

DressCode不僅能根據(jù)提示文本生成相應(yīng)的服裝樣式，還能生成不同類型的材料，包括羊毛、蕾絲、絲綢等布料，并添加真實(shí)的物理光照幫助設(shè)計(jì)人員查看不同場(chǎng)景下的效果。

該模型可幫助VR、AR、影視、游戲開(kāi)發(fā)、電商平臺(tái)等領(lǐng)域的設(shè)計(jì)人員加速3D內(nèi)容的開(kāi)發(fā)效率。

開(kāi)源地址:https://github.com/IHe-KaiI/DressCode

論文地址:https://arxiv.org/abs/2401.16465

SewingGPT

SewingGPT是DressCode的核心模塊之一，基于Transformer架構(gòu)主要用于提示文本語(yǔ)義理解和生成。

為了使DressCode能夠生成服裝圖案，研究人員采用了一種新穎的量化過(guò)程，將裁剪圖案轉(zhuǎn)化為tokens序列，并使用僅包含解碼器的Transformer模型進(jìn)行tokens預(yù)測(cè)，以增強(qiáng)生成內(nèi)容的準(zhǔn)確性。

當(dāng)SewingGPT接收到一段文本描述，例如，設(shè)計(jì)一款夏季棉質(zhì)連衣裙，V領(lǐng)，腰部有褶皺設(shè)計(jì)，裙擺為A字形。會(huì)通過(guò)Transformer解析這段描述中的關(guān)鍵提示詞、夏季、棉質(zhì)、V領(lǐng)、褶皺等以及它們之間的語(yǔ)義關(guān)系，幫助模型準(zhǔn)確地捕捉到服裝每個(gè)模塊之間的細(xì)微差別。

在理解提示文本語(yǔ)義之后，SewingGPT會(huì)生成一組結(jié)構(gòu)化指令。這些指令不僅包括服裝的外觀特征，還包括具體的裁剪方式、縫合順序、特定部位的處理技巧。

例如，上面所提到的連衣裙文本描述，SewingGPT可能生成指令指出V領(lǐng)的具體尺寸和弧度、褶皺的數(shù)量和分布模式、A字裙擺的展開(kāi)角度等。這確保了設(shè)計(jì)的可實(shí)施性，即便在高度定制化的設(shè)計(jì)中也能保持精確。隨后，這些指令被送到3D建模引擎并結(jié)合面料物理屬性數(shù)據(jù)庫(kù)進(jìn)行建模。

SewingGPT還提供了一個(gè)循環(huán)反饋機(jī)制，允許用戶對(duì)生成的初步3D模型進(jìn)行效果評(píng)估，并提出修改意見(jiàn)，幫助模型進(jìn)行自動(dòng)迭代。

渲染與展示模塊

在接收到結(jié)構(gòu)化指令后，渲染模塊會(huì)進(jìn)一步分析文本提示詞中的分析材質(zhì)和紋理的關(guān)鍵詞匯區(qū)別，麗日，光滑的絲綢、粗糙的牛仔布、柔軟的羊毛等，并將這些文本描述映射到材質(zhì)庫(kù)中的對(duì)應(yīng)材料中。

材料庫(kù)中的每種材質(zhì)均被詳盡記錄屬性，反射率、透光度、彈性、摩擦系數(shù)等以及微觀結(jié)構(gòu)特征，這些數(shù)據(jù)可以使得渲染出來(lái)的3D服務(wù)模型更加逼真符合實(shí)際要求。

為了確保3D服裝在運(yùn)動(dòng)狀態(tài)下的自然垂墜與動(dòng)態(tài)效果，DressCode集成了高級(jí)的布料動(dòng)力學(xué)算法。這些算法基于物理模擬，能夠精確計(jì)算布料與服裝內(nèi)部結(jié)構(gòu)之間的相互作用，如褶皺形成、擺動(dòng)、拉伸等，使服裝在虛擬模特走動(dòng)或旋轉(zhuǎn)時(shí)的表現(xiàn)與真實(shí)服裝幾乎一樣。

此外，為了更好地展示3D模型，DressCode提供了豐富的可定制虛擬模特，涵蓋不同體型、膚色和風(fēng)格，以適應(yīng)多樣化的設(shè)計(jì)需求。同時(shí)，內(nèi)置的動(dòng)作庫(kù)支持從靜態(tài)展示到復(fù)雜走秀動(dòng)作的設(shè)置，使用戶能夠全方位評(píng)估服裝的動(dòng)態(tài)表現(xiàn)和穿著效果。

所有預(yù)覽都是可視化操作，用戶可以通過(guò)簡(jiǎn)單的操作旋轉(zhuǎn)、縮放、平移3D模型，從多個(gè)角度審視服裝細(xì)節(jié)，這對(duì)于那些非專業(yè)設(shè)計(jì)人員來(lái)說(shuō)非常有幫助。

以上就是關(guān)于【上海科大等開(kāi)源創(chuàng)新模型：文本生成精美3D服裝】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！