|
Stable Diffusion是開源的，有點像安卓；midjourney則是封閉的，有點像蘋果。兩者功能都很強大。但是對于Stable Diffusion來說，要發(fā)揮強大的功能，首先得像安卓那樣做好配置，安裝好各種功能的app。Stable Diffusion也一樣，要用Stable Diffusion畫出漂亮的圖片，首先得選好模型。 目前，模型數(shù)量最多的兩個網(wǎng)站是civitai.com和huggingface.co。civitai又稱c站，有非常多精彩紛呈的模型，有了這些模型，我們分分鐘就可以變成繪畫大師，用AI畫出各種我們想要的效果。 打開civitai網(wǎng)站， 最上面是搜索框，我們可以直接通過關鍵詞來搜索想要的模型。
如果不清楚自己想要什么模型，就先看看其他在用什么模型，可以點擊左上角。
可以看到，deliberate、realistic vision、dreamshaper、fashion girel、墨心等模型是下載使用最多的模型。
點擊右上角，可以按照時間排序來選模型：最近一周、最近一月、所有時間的。還可以按照模型類型來選擇、按照Stable Diffusion的版本來選擇。 Stable Diffusion目前有SD 1.4、SD 1.5、SD 2.0、SD 2.0768、SD 2.1、SD 2.1768、SD 2.1 Unclip 等眾多版本。注意，通常來說版本越高，效果越好。但是，Stable Diffusion并非如此，有些用戶就覺得1.5版本比2.0好。目前比較流行的還是1.5版本。2.0以上版本提供了一個 圖像無損放大模型：Upscaler Diffusion ，可以將生成圖像的分辨率提高 4 倍，適合出高清大圖。1.5之前的版本沒啥限制，可以自由出各種圖片（你懂的），但是2.0加入了一些限制，不能出一些不可描述的圖片。所以，具體使用哪個版本，還是要根據(jù)自己的需求來選擇。如果不是很懂的話，默認選擇SD 1.5就好。 具體模型類型又有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA LyCORIS、Controlnet、Poses、wildcards等。這些都是什么東東呢？ ★checkpoint模型是真正意義上的Stable Diffusion模型，它們包含生成圖像所需的一切，不需要額外的文件。但是它們體積很大，通常為2G-7 G。 目前比較流行和常見的checkpoint模型有Anythingv3、Anythingv4.5、AbyssOrangeMix3、counterfeitV2.5、PastalMix、CamelliaMix_2.5D、chilloutMix_Ni_fix、F222、openjourney等。這些checkpoint模型是從Stable Diffusion基本模型訓練而來的，相當于基于原生安卓系統(tǒng)進行的二次開發(fā)。目前，大多數(shù)模型都是從 v1.4 或 v1.5 訓練的。它們使用其他數(shù)據(jù)進行訓練，以生成特定風格或?qū)ο蟮膱D像。
可以看到，不同模型在同樣的提示詞下，生成的圖像是有較大差異的。 Anything、Waifu、novelai、Counterfeit是二次元漫畫模型，比較適合生成動漫游戲圖片；
★Textual lnversion（又叫Embedding）是定義新關鍵字以生成新人物或圖片風格的小文件。它們很小，通常為10-100 KB。必須將它們與checkpoint模型一起使用。 ★LoRA 模型是用于修改圖片風格的checkpoint模型的小補丁文件。它們通常為10-200 MB。必須與checkpoint模型一起使用。 現(xiàn)在比較火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模型，效果很驚艷。其他一些模型如下： Shukezouma LoRA模型： Cyberpunk 2077 Tarot card：
Robo Diffusion，機器人風格模型；
Mo-di-diffusion ，現(xiàn)代迪士尼風格；
Inkpunk Diffusion，朋克風格；
★Hypernetwork是添加到checkpoint模型中的附加網(wǎng)絡模塊。它們通常為5-300 MB。必須與checkpoint模型一起使用。 Water Elemental模型
Gothic RPG Artstyle
★Aesthetic Gradient是一個功能，它將準備好的圖像數(shù)據(jù)的方向添加到“Embedding”中，將輸入的提示詞轉換為矢量表示并定向圖像生成。 ★LyCORIS：LyCORIS可以讓LoRA學習更多的層，可以當做是升級的LoRA ★Controlnet，人物動作姿勢模型，前面已有介紹，參見文章《AI繪畫教程：Stable Diffusion中如何控制人像的姿勢？》 挑到喜歡的模型后，怎么安裝模型呢？ 首先，在Stable Diffusion的界面中找到Extensions ，安裝Civitai插件（插件地址https://github.com/civitai/sd_civitai_extension.git），然后重啟界面(有些colab包已經(jīng)內(nèi)置安裝Civitai_Helper或Civitai的插件，不用再手動安裝)。然后在界面的上方可以看到Civitai_Helper選項了
Stable diffusion的1.5版本和2.0版本不同colab包，界面會稍微有些不一樣。
但安裝方法一樣。打開civit Ai 選項 ，先選擇模型類型（Checkpoint、Hypernetwork、 Textuallinversion、AestheticGradient、lora等），然后在search term里面輸入模型名稱，比如：chilloutmix。模型名稱從civitAI網(wǎng)站上看。
然后點擊get list，然后選擇具體的模型、模型版本。最后點擊download model，開始下載。 這時候在stable diffusion的界面看不到什么反應，切換到谷歌colab頁面，可以看到后臺正在下載模型：
下載完成后，點擊底部的reload按鈕重啟界面，然后在stable diffusion左上角就可以看到新安裝的模型了，點擊選擇，然后點擊點擊右邊藍色兩個箭頭的刷新按鈕，就可以使用了。
Lora模型的使用是在generate生成圖片按鈕的下方點擊show extra networks,然后啟用
就可以看到lora模型了
然后在civitai中，找到lora模型，點擊右下角的i按鈕，可以看到詳細的prompt和negative prompt、sampler、seed等信息。在此基礎上進行修改就可以了。生成提示詞的時候，要加入：
其他一些模型，比如hypernetwork，安裝的時候需要將模型文件放在以下文件夾stable-diffusion-webui/models/hypernetworks中，使用的時候在提示語中輸入以下短語： <hypernet:< span>模型名稱:multiplier> </hypernet:<> 另外，除了checkpoint這種底層模型，其他lora、Embedding這些模型是可以在一張圖片中同時調(diào)用然后融合在一起的，所以可玩性非常高，可以隨心所欲的發(fā)揮自己的想象力。 |
|
|
這里是按照最高評價HIGHEST RATED、最多下載MOST DOWNLOADED、點贊最多MOST LIKED、討論最多MOST DISCuSSED、最新上傳NEWEST來分類的。
chilloutmix是真人模型，適合生成逼真的人像圖片。
