|
我們知道，在stable diffusion中，ControlNet主要是用來控制圖像中物體的姿態(tài)。 在5月份的時(shí)候，ControlNet迎來了重大更新，新更新的功能叫“reference-only”，它不需要任何的控制模型，只需要在文本提示詞的指導(dǎo)下，調(diào)節(jié)圖像的細(xì)節(jié)。 這就相當(dāng)于讓軟件自己學(xué)會了PS，我們只需要在旁邊給指導(dǎo)提示詞就可以了。不得不感嘆一句，AI終于學(xué)會自己P圖了  比如你給定了一張狗的圖片，然后給定提示詞語：一只狗在草地上奔跑  這種方法很想Stable-Diffusion中的inpaint功能，但是區(qū)別在于，inpaint功能往往需要先在圖片上mask掉需要替換的部分，而且生成的部分和原始圖像風(fēng)格不太一致。比如我之前生成的圖片：  但是ControlNet的這個(gè)新功能，在圖像風(fēng)格上保持了統(tǒng)一，同時(shí)細(xì)節(jié)上更能夠進(jìn)行調(diào)節(jié)，比inpaint功能好用很多。 基于Prompt生成 在二次元領(lǐng)域方面，只要你給他輸入原圖，ControlNet就會給你返回不同姿勢的圖片，且其風(fēng)格保持一致：  而在真人圖像領(lǐng)域上，作者lllyasviel 首先利用Midjourney生成一張真人圖片  然后再用ControlNet生成不同姿態(tài)的圖片，其過程僅僅只輸入了簡單的提示詞：woman in street, masterpiece, best quality  下載插件ControlNet和模型 打開網(wǎng)頁的“擴(kuò)展”，利用URL下載ControlNet插件： https://github.com/Mikubill/sd-webui-controlnet.git  看到安裝成功后，重啟界面就可以了：  同時(shí)要下載對應(yīng)的ControlNet模型，可以跳轉(zhuǎn)到：https:///lllyasviel/ControlNet-v1-1/tree/main 進(jìn)行下載 然后把模型放到stable-diffusion-webui\extensions\sd-webui-controlnet\models路徑下 其中不同模型有不同的功能，在具體使用的時(shí)候可以選擇不同的模型進(jìn)行導(dǎo)入：  Reference-only具體使用方法 首先可以去C站（https://）任意下載一個(gè)生成人物的模型，比如我這里選擇一個(gè)叫majicMIX的模型：  下載完成后放置到models/Stable-diffusion目錄下：  導(dǎo)入模型后，利用提示詞生成真人圖片 提示詞：best quality, masterpiece, ultra high res, photorealistic, 1girl, offshoulder, smile 反向提示詞：ng_deepnegative_v1_75t, (badhandv4:1.2), (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) watermark, moles 把生成的圖片保存后，可以導(dǎo)入到ControlNet中： 然后點(diǎn)擊生成，就可以看到不同姿態(tài)的同一個(gè)人物的形象： 想要同一個(gè)人物，換不同的背景也很簡單，只需要在提示詞上限定“in street”就可以： 這種方法，能夠很方便的讓你在保持圖像的同時(shí)，調(diào)節(jié)細(xì)節(jié)部分，因此有人稱 是時(shí)候把之前丟棄的圖片拿回來修復(fù)了 雖然這個(gè)方法目前還不是很完美，但是假以時(shí)日，技術(shù)的不斷進(jìn)步將會更加方便我們。 好了，以上就是本期內(nèi)容了，我是leo，我們下期再見~ |
|
|
