相信很多大家對(duì)ControlNet作者推新項(xiàng)目Omost 一句話變構(gòu)圖小作文 再也不用為寫(xiě)提示詞頭疼了還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

站長(zhǎng)之家（ChinaZ.com）6月3日 消息:近日，ControlNet的作者推出了一個(gè)全新的項(xiàng)目——Omost。這個(gè)項(xiàng)目對(duì)現(xiàn)有圖像模型的提示詞理解有著巨大的幫助。通過(guò)很短的提示詞，就可以生成非常詳細(xì)并且空間表現(xiàn)很準(zhǔn)確的圖片。

Omost通過(guò)預(yù)定義的位置、偏移量和區(qū)域三大參數(shù)來(lái)簡(jiǎn)化圖像元素的描述。這使得用戶能夠更直觀地指定圖像中各個(gè)元素的位置和大小，從而生成高質(zhì)量、符合預(yù)期的圖像。

使用Omost，你只需要輸入簡(jiǎn)單的提示詞，LLM就可以生成圖像每個(gè)區(qū)域的簡(jiǎn)單提示和位置信息。然后針對(duì)圖像九宮格的簡(jiǎn)單提示詞繼續(xù)擴(kuò)展，保證了每一部分都有非常詳細(xì)的描述。

比如，我輸入創(chuàng)建一個(gè)夢(mèng)幻的空中城堡，然后它給我返回了一段非常詳細(xì)的圖像描述:

然后點(diǎn)擊生成圖像，它就會(huì)將上面的提示轉(zhuǎn)化為圖像返給你:

效果還不錯(cuò)。我們也可以將提示詞復(fù)制到MJ中生成。效果如下:

更牛逼的是，Omost已經(jīng)完成的圖像整體布局可以保留，如果你想修改畫(huà)面中的某個(gè)元素，也只需要一句提示詞即可。比如你原來(lái)的畫(huà)面主體是龍，你可以直接把龍變成恐龍。

項(xiàng)目亮點(diǎn):

自動(dòng)擴(kuò)展提示詞:Omost能夠?qū)⒑?jiǎn)單的提示詞拆解成詳細(xì)的描述，從圖像整體到局部元素的位置和大小均能詳細(xì)說(shuō)明。例如輸入“a funny cartoon batman fights joker”，系統(tǒng)會(huì)生成蝙蝠俠與小丑戰(zhàn)斗的完整圖像。

高靈活性:生成的圖像布局可以保留，用戶可以通過(guò)簡(jiǎn)單的提示詞對(duì)圖像中的某個(gè)元素進(jìn)行修改。比如，將龍變成恐龍，系統(tǒng)會(huì)根據(jù)新提示生成修改后的圖像。

圖像位置編碼:Omost通過(guò)將圖像劃分為729個(gè)不同的位置來(lái)簡(jiǎn)化圖像元素的描述。每個(gè)位置包括預(yù)定義的參數(shù)，如位置、偏移量和區(qū)域，確保圖像生成的準(zhǔn)確性和細(xì)致度。

子提示系統(tǒng):所有Omost LLM都經(jīng)過(guò)訓(xùn)練，可以提供嚴(yán)格定義的“子提示”，這些子提示可以獨(dú)立描述事物，并任意組合形成完整的提示。這種設(shè)計(jì)提高了提示詞的靈活性和準(zhǔn)確性。

注意力操縱:Omost使用注意力分?jǐn)?shù)調(diào)整技術(shù)來(lái)控制圖像生成過(guò)程中的區(qū)域關(guān)注度，實(shí)現(xiàn)更精細(xì)的圖像生成。通過(guò)調(diào)整注意力分?jǐn)?shù)，Omost能夠生成符合提示詞描述的圖像元素。

提示前綴樹(shù):Omost引入提示前綴樹(shù)技術(shù)，通過(guò)合并子提示來(lái)改進(jìn)提示理解和描述。例如，可以將路徑“a cat and a dog. the cat on the sofa”作為提示，從而生成相應(yīng)圖像。

Omost的實(shí)現(xiàn)和使用

Omost項(xiàng)目基于Llama3和Phi3變體模型，用戶可以通過(guò)提供簡(jiǎn)單的提示詞來(lái)生成復(fù)雜的圖像。以下是該項(xiàng)目的幾個(gè)關(guān)鍵組件:

位置和偏移量:將圖像劃分為9個(gè)位置，每個(gè)位置進(jìn)一步劃分為81個(gè)偏移量，共有729個(gè)邊界框，用于描述圖像元素的位置。

distance_to_viewer和HTML_web_color_name:用于調(diào)整圖像元素的視覺(jué)表現(xiàn)，通過(guò)組合這些參數(shù)可以生成粗略的圖像構(gòu)圖。

注意力操縱:基于注意力分?jǐn)?shù)操作的baseline渲染器，通過(guò)調(diào)整注意力分?jǐn)?shù)來(lái)控制不同區(qū)域的模型關(guān)注度。

應(yīng)用和前景

Omost技術(shù)的推出，不僅簡(jiǎn)化了提示詞的編寫(xiě)，還提高了圖像生成的精確度和靈活性。其應(yīng)用場(chǎng)景包括但不限于AI繪畫(huà)、圖像設(shè)計(jì)、廣告創(chuàng)意、教育等領(lǐng)域。用戶可以通過(guò)簡(jiǎn)單的提示詞生成復(fù)雜的圖像，為創(chuàng)意設(shè)計(jì)提供了強(qiáng)大的工具支持。

項(xiàng)目頁(yè):https://top.aibase.com/tool/omost

試玩地址:https://huggingface.co/spaces/lllyasviel/Omost

以上就是關(guān)于【ControlNet作者推新項(xiàng)目Omost 一句話變構(gòu)圖小作文 再也不用為寫(xiě)提示詞頭疼了】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！