本文是學(xué)習(xí)整理用作自用,數(shù)據(jù)效果圖部分源自B站up主小白,感謝技術(shù)分享,視頻做的非常好,大家可以關(guān)注一下。 什么是采樣器?SD生成圖像的過程,是生成一張隨機(jī)的噪點(diǎn)圖,通過不同的采樣方法,逐步去除圖像中的噪點(diǎn),這個(gè)過程我們稱為采樣,而不同的采樣方法,我們把它稱為采樣器。 采樣的過程一般十幾次或二十幾次,每一步都在原本雜亂的基礎(chǔ)上,生成進(jìn)一步的清晰圖像,經(jīng)過若干次的去噪修正,我們最終得到想要的圖片。 提示詞是怎樣被分析的?我們輸入的提示文本后首先進(jìn)行分詞(token),接下來為了使提示詞變成計(jì)算機(jī)能夠處理的形式,我們進(jìn)行嵌入(Embedding) 操作,這是我們的文字語言,就轉(zhuǎn)換為了一串連續(xù)的向量。這串向量,我們需要對其進(jìn)行語義上的分析,探尋其彼此的關(guān)聯(lián)性,這個(gè)過程采用了Transformer的技術(shù),稱為文字壓縮嵌套(Text Transformer)。最后,我們將這組數(shù)據(jù)作為輸入,放入采樣器進(jìn)行噪聲預(yù)測,不同語義的提示詞將負(fù)責(zé)自己那部分工作,最后逐步地生成圖像。 而不同的采樣器,可以理解成北京到上海的旅程。雖然大家出行方式不同,但總歸都能到達(dá)目的地。對于采樣結(jié)果,不同的采樣器之間有一個(gè)重要參數(shù)——采樣步數(shù)。 什么是采樣步數(shù)?采樣步數(shù),就是采樣過程的次數(shù)??傮w上講,采樣步數(shù)越多,生成的圖像就越細(xì)膩,而與此同時(shí),我們運(yùn)算的次數(shù)以及耗費(fèi)的時(shí)間就要長一些。這時(shí)候,我們的敏感性就發(fā)揮了,可見這個(gè)步數(shù)太高不好,太低也不好,那么就要尋求一個(gè)適中的值,大部分采樣器的采樣步數(shù)居于15~30步之間。 有哪些采樣器?按照時(shí)間劃分,采樣器大概可以分為這三個(gè)階段: 早期采樣器:一般年代久遠(yuǎn),有一些祖先采樣器,還有同SD一同推出的一些采樣器。 DPM采樣器:一般是2022年左右發(fā)布的,以DPM為基礎(chǔ)的改良版采樣器。 帶a的是祖先采樣器變體,一般表示隨機(jī)變量的引入,即在每一步去噪完成后重新引入隨機(jī)新噪聲,以此使圖像多變。 更新采樣器:目前最新的采樣器。 UniPC 和 Restart: LCM:清華大學(xué)推出的采樣器,在極低CFG和采樣步數(shù)下往往有奇效,需要搭配對于的Lora使用。速度非???,可以高效率出圖。 按照效果劃分?按照用途劃分?采樣器參數(shù)設(shè)置? |
|