超級干貨來了，我們耗費(fèi)大量時(shí)間精力整理編寫的Stable Diffusion提示詞手冊正式公開！
一些老朋友可能發(fā)現(xiàn)了我們最近會(huì)發(fā)一些好看的AI繪畫圖像和提示詞，那么這些圖片是怎么來的呢？如果你產(chǎn)生了這樣的疑問，那么今天的提示詞手冊是你絕對不能錯(cuò)過的內(nèi)容，這個(gè)手冊里面包含了怎么從無到有的構(gòu)建提示詞和一些注意事項(xiàng)，如果你能把這個(gè)提示詞手冊吃透，不敢說能讓你成為提示詞專家，但生成一些自己喜歡的圖像還是可以信手拈來的。可能還有朋友會(huì)說“可是我也沒有地方可以用這些提示詞呀?！辈灰獡?dān)心，我們?nèi)繋湍憬鉀Q，我們還開發(fā)了“制圖機(jī)”AI繪畫平臺。
接下來我就簡單為大家介紹一下“制圖機(jī)”AI繪畫平臺。制圖機(jī)（zhituji.cn）是一個(gè)可以協(xié)同創(chuàng)作的AI繪畫平臺。我們基于Stable Diffusion AI繪畫技術(shù)，提供可以協(xié)同創(chuàng)作的AI畫布、AI繪畫提示詞庫和云WebUI三大產(chǎn)品。我們的AI畫布沒有邊界，可以讓創(chuàng)作者及其團(tuán)隊(duì)，用各種強(qiáng)大的AI工具協(xié)同共創(chuàng)，例如使用Stable Diffusion各種模型進(jìn)行AI繪畫，還提供線條藝術(shù)渲染、高清放大、建筑重繪、自動(dòng)摳圖等最新AI圖片處理功能。AI畫布還可以像地圖一樣設(shè)置定位錨點(diǎn)，方便您和團(tuán)隊(duì)，在大的共享畫布上，組織和快速定位靈感。各行各業(yè)、各種場景，都可以在我們上萬張精選提示詞圖片中找到靈感，直接獲取或者進(jìn)行二創(chuàng)。云WebUI，提供基于云GPU的WebUI服務(wù)， 用戶無需購買顯卡，只要有瀏覽器，就能完整使用WebUI的所有功能，包括controlnet，進(jìn)行學(xué)習(xí)和創(chuàng)作，最快2秒出圖。無論是使用AI繪畫的個(gè)人用戶，還是定制解決方案的企業(yè)用戶，制圖機(jī)都希望成為你們AIGC共創(chuàng)共贏的合作伙伴！在瀏覽器中輸入“zhituji.cn”即可訪問使用。
接下來進(jìn)入今天的主要內(nèi)容，一起來看Stable Diffusion提示詞手冊。Stable Diffusion 和提示詞介紹Stable Diffusion 是一種開源的基于文本的圖像生成模型，可以根據(jù)任何文本輸入生成逼真的圖像。它使用了一種叫做潛在擴(kuò)散模型（LDM）的擴(kuò)散模型（DM），這種模型可以逐步去除訓(xùn)練圖像上的高斯噪聲，從而得到對應(yīng)的圖像。該模型是在 LAION-5B 數(shù)據(jù)集中的圖像上訓(xùn)練的。它由 CompVis、StabilityAI和RunwayML 開發(fā)。提示詞是構(gòu)建由文本到圖像模型解釋和理解的單詞的過程?？梢园阉斫鉃槟愀嬖V AI 模型要畫什么而需要說的語言。本手冊將幫助您學(xué)習(xí)基本的提示詞構(gòu)建規(guī)則,更多提示詞和免費(fèi)Stable Diffusion請前往zhituji.cn查看。在構(gòu)建提示詞之前我們需要明確自己的目的，可以向自己提出以下幾個(gè)問題：2、圖片的主題是什么？人、動(dòng)物還是風(fēng)景a) 所處環(huán)境？室外、室內(nèi)、太空、水下 b) 燈光效果？柔和、霓虹、強(qiáng)光 c) 配色方案？柔和、陰暗、陽光 d) 構(gòu)圖角度？正面、側(cè)面、背面 e) 背景？純色、森林、城市
4、是否指定特定的風(fēng)格？3D、電影、動(dòng)漫、國風(fēng)5、如果是藝術(shù)作品，是否需要特定藝術(shù)家的風(fēng)格？6、如果是照片，是否需要特定的照片類型？長焦、微距、魚眼當(dāng)然，這些只是一張圖片必須明確的幾個(gè)因素，只有具備這幾個(gè)因素才能算是一張合格的圖片，而想要生成一張完美的圖片還需要更多的修飾詞。我們必須在實(shí)際操作中試驗(yàn)更多具體的修飾詞，并找出自己喜歡的記錄下來。注意：在多個(gè)提示詞組成的詞組中，單個(gè)提示詞越靠前就越重要，會(huì)在生成圖中突出顯示。另外，我們在構(gòu)建提示詞時(shí)，應(yīng)盡量使用單獨(dú)的單詞，而不是將其構(gòu)建成一個(gè)句子。A painting ，a cute goldendoodle wearing
a suit, natural light, in the sky, with bright colors, by Studio Ghibli這里狗狗背景并沒有天空下，這時(shí)候我們“in the sky”前移,重新生成，就是下圖的效果。A painting of a cute goldendoodle in the sky, wearing a
suit, natural light, with bright colors, by Studio Ghibli提示詞的修飾關(guān)鍵詞修飾關(guān)鍵詞是可以改變圖像的風(fēng)格、格式或視角的詞。添加具體詳細(xì)的修飾詞可以大大提高圖像的質(zhì)量。Tiny cute boy holding camera toy, standing
character, soft smooth lighting, soft pastel colors, skottie young, 3d blender
render, polycount, modular constructivism, pop surrealism, physically based
rendering, square image攝影照片照片類型：Close-up、 Extreme
Close-up、 POV、 Medium shot、 Long shot照片風(fēng)格：Polaroid、Monochrome、 Long exposure、Color
splash、 Tilt-shift燈光：Soft、 Ambient 、Ring 、Sun 、Cinematic環(huán)境：Indoor、 Outdoor 、At night 、In the park、 Studio使用鏡頭：e-angle、Telephoto 、24mm、 EF 70mm、 Bokeh使用設(shè)備：iPhone、 Surveillance
cameras、 Nikon Z FX、 Canon 、DroneClose-up polaroid photo, of a husky, soft
lighting, outdoors, 24mm Nikon Z FX藝術(shù)形式我們可以通過添加不同的藝術(shù)形式提示詞生成特定藝術(shù)形式的圖像。如：涂鴉（Graffiti）、水彩畫（Water Colors）、油畫（Oil Painting）、水墨畫（ink painting）、素描（sketch）、鉛筆畫（Pencil Drawing）、雕塑（sculpture）等等。ink painting sun mountains water fisherman holding a boat藝術(shù)家可以將藝術(shù)家的名字作為提示詞，生成對應(yīng)藝術(shù)家風(fēng)格的圖像，也可以將多個(gè)藝術(shù)家混合起來生成獨(dú)特的風(fēng)格，同樣的提示詞添加不同藝術(shù)家之后可能會(huì)生成完全不一樣的作品。Stable Diffusion中收錄的部分藝術(shù)家：肖像藝術(shù)家：Derek Gores, Miles Aldridge, Jean
Baptiste-Carpeaux, Anne-Louis Girodet景觀藝術(shù)家：Alejandro Bursido, Jacques-Laurent
Agasse, Andreas Achenbach, Cuno Amiet漫畫藝術(shù)家：Makoto Shinkai, Katsuhiro Otomo, Masashi
Kishimoto, Kentaro Miura科幻藝術(shù)家：Chesley Bonestell, Karel Thole, Jim
Burns, Enki Bilal攝影藝術(shù)家：Ansel Adams, Ray Earnes, Peter Kemp,
Ruth Bernhard概念藝術(shù)家：Emerson Tung, Shaddy Safadi, Kentaro
MiuraPortrait by Miles Aldridge Landscape by Alejandro BurdisioPortrait by Derek Gores and Miles
Aldridge插畫Stable diffusion可以創(chuàng)建任何風(fēng)格、任何形式的插畫，包括各種風(fēng)格的3D插畫、甚至設(shè)計(jì)3D角色（只要輸入的提示詞足夠清晰）。常見插畫圖像提示詞：（3D）origami、Needle felted、Isometric assets、Low Poly、Pixar Renders、3D Item Render；（非3D）Children’s
book、Vector、Scientific
Illustration、Comic、Propaganda
Poster、Movie Poster、Psychedelic
Art、Splash Art、Ukiyo-e、Stickers、Fantasy Mapskawaii low poly squirrel character, 3d
isometric render, white background, ambient occlusion, unity engine
3d fluffy Lion, closeup cute and adorable,
cute big circular reflective eyes, long fuzzy fur, Pixar render, unreal engine
cinematic smooth, intricate detail, cinematic氛圍修飾詞在Stable Diffusion中一兩個(gè)簡單的氛圍修飾詞，就能改變整幅圖像的色調(diào)和氛圍感。常見的情緒提示詞：（積極）Cosy、Romantic、Joyful、Energetic、Hope、Lust、Peaceful、Satisfaction、（消極）Depressing、Loneliness、Grim、Regret、Suffering、Hopelessness、Fear、DisgustCute sad girl toy, curly hair, standing
character, soft smooth lighting, soft pastel colors, skottie young, 3d blender render,
polycount, modular constructivism,
physically based rendering, square image美術(shù)風(fēng)格一些專業(yè)的美術(shù)風(fēng)格詞匯在Stable Diffusion中同樣適用。常見美術(shù)風(fēng)格提示詞：（充滿活力）Weirdcore、 Acidwave、Dreamcore、Vaporwave、（陰沉）Liminal Space、After
Hours、Brutalism、Post-Apocalyptic、（歷史風(fēng)格）Baroque、Sovietwave、Wild West、Film Noir一些提高圖像質(zhì)量的詞一些表示清晰度和具體風(fēng)格的詞可以使圖像出現(xiàn)巨大的變化和提升。常見提示詞：HDR, UHD, 4K, 8k, 64K、Highly detailed、Studio lighting 、Professional、Trending on artstation、Unreal engine、Vivid Colors、Bokeh 、High resolution scan、Sketch、PaintingA cinematic film still of Morgan Freeman
starring as 50 Cent, portrait, 40mm lens, shallow depth of field, close up,
studio lightingA cinematic film still of Morgan Freeman
starring as 50 Cent, portrait, 40mm lens, shallow depth of field, close up提示詞的權(quán)重問題可以通過語法調(diào)整關(guān)鍵字的權(quán)重(keyword: factor)。keyword是所要調(diào)整權(quán)重的關(guān)鍵詞，factor是一個(gè)值，默認(rèn)值是1，小于 1 意味著不太重要，降低權(quán)重；大于 1 意味著更重要，提高權(quán)重。() 和 [] 語法調(diào)整關(guān)鍵詞權(quán)重的等效方法是使用()and []。(keyword)將關(guān)鍵字的強(qiáng)度增加 1.1 倍，與(keyword:1.1)效果相同。[keyword]將強(qiáng)度降低 0.9 倍，與(keyword:0.9)效果相同。也可以同時(shí)使用其中的多個(gè)，他們的疊加效果是相乘的。關(guān)鍵字混合可以通過混合兩個(gè)關(guān)鍵字來創(chuàng)造一種新的效果。其語法是[keyword1：keyword2：factor]。factor控制關(guān)鍵字 1 切換到關(guān)鍵字 2 的步數(shù)。它是一個(gè)介于 0 和 1 之間的數(shù)字。例如一張圖像的關(guān)鍵字是[cat：tiger：0.3]，采樣步數(shù)為30步，這意味著其采樣的前9步為貓，后21步為老虎，該因素確定何時(shí)更改關(guān)鍵字。它是在 30 步 x 0.3 = 9 步之后。需要注意的一點(diǎn)是第一個(gè)關(guān)鍵字決定了全局效果。早期的擴(kuò)散步驟設(shè)定了整體風(fēng)格，后面的步驟會(huì)細(xì)化細(xì)節(jié)。混合面孔是關(guān)鍵字混合的一個(gè)常用場景，我們可以將兩個(gè)已知模型能識別的面孔進(jìn)行混合，通過調(diào)整比例，可以精確地得到我們想要的面孔。關(guān)鍵字混合的另外一個(gè)用處就是通過調(diào)整factor來改變圖像中的某個(gè)部分。holding an [apple: fire: 0.9]holding an
[apple: fire: 0.2]提示詞的限制1、提示詞的工作原理是在你輸入提示詞之后Stable
Diffusion 使用的CLIP 模型自動(dòng)將提示轉(zhuǎn)換為標(biāo)記，但標(biāo)記不等于單詞，當(dāng)你輸入一個(gè)不能識別的標(biāo)記時(shí)模型會(huì)自動(dòng)將標(biāo)記拆分，直到拆分至模型能識別。2、提示詞并不一定總是有效的，當(dāng)你想要生成某個(gè)藝術(shù)家風(fēng)格的圖像時(shí)，你首先需要測試一下模型是否認(rèn)識這個(gè)藝術(shù)家。3、Stable
Diffusion的核心是一個(gè)圖像采樣器，用來生成我們認(rèn)為合法且良好的圖像。甚至可以在沒有提示的情況下使用它，它也會(huì)生成許多不相關(guān)的圖像。用技術(shù)術(shù)語來說，這稱為無條件或非引導(dǎo)擴(kuò)散。提示其實(shí)就是一種將擴(kuò)散過程引導(dǎo)到其匹配的采樣空間的方法。之前說過提示需要詳細(xì)和具體。這是因?yàn)樵敿?xì)的提示可以縮小其采樣空間。越詳細(xì)具體的提示詞，生成的圖像變化越少。4、Stable
Diffusion的聯(lián)想效應(yīng)，在Stable Diffusion中一些屬性是強(qiáng)相關(guān)的。當(dāng)你指定一個(gè)時(shí)，它同時(shí)會(huì)生成最有可能具有相關(guān)聯(lián)效果的圖像。例如你想生成一位藍(lán)眼睛的女性，當(dāng)你不指定膚色時(shí)，它很大可能會(huì)生成一位歐洲白人。否定提示詞否定提示提供了另一種控制文本到圖像生成的方法。在Stable Diffusion 1.4 或 1.5 模型中，否定提示不是必須存在的。但在Stable Diffusion v2 系列模型中，必須要有否定提示，如果缺少否定提示，生成圖像的畫面效果將遠(yuǎn)不如Stable Diffusion 1.4 或 1.5 系列模型。常用的否定提示詞，對于人物圖像來說，這些提示詞能很好避免一些部位容易出現(xiàn)的問題：ugly, tiling, poorly drawn hands, poorly drawn feet,
poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of
frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed,
overexposed, bad art, beginner, amateur, distorted face。除了常用的否定提示詞，否定提示詞還有一些其他作用。去除圖片中不必要的素材，假如你生成了一張雨中的巴黎街道景象的圖片，就像這樣autumn in paris, ornate, beautiful,
atmosphere, vibe, mist, smoke, fire, chimney, rain, wet, pristine, puddles,
melting, dripping, snow, creek, lush, ice, bridge, forest, roses, flowers, by
stanley artgerm lau, greg rutkowski, thomas kindkade, alphonse mucha, loish,
norman rockwell.可以看到圖片中有很多人，如果你想要一張空蕩蕩的街道，這時(shí)候不需要重新構(gòu)建提示詞，使用相同的提示詞和種子值，并在否定提示詞中添加people，這樣你就會(huì)得到一張去除了大多數(shù)人物的圖像。可能已經(jīng)注意到上圖中還剩下一個(gè)人。可以通過強(qiáng)調(diào)否定提示 來告訴 Stable
Diffusion更大程度的去除人物，和提示詞中一樣，就像這樣(people:1.3)這告訴 Stable Diffusion關(guān)鍵字people現(xiàn)在的重要性提高了 30%。修改圖像內(nèi)容，可以通過添加否定提示詞在不完全刪除任何內(nèi)容的情況下對主題進(jìn)行細(xì)微更改。就像下面這張圖片，頭發(fā)有漂浮起來，通過在否定提示詞中添加Windly避免頭發(fā)被風(fēng)吹起來。修改樣式，否定提示不僅對修改內(nèi)容有用，對修改樣式也很有用。在提示詞中添加大量的樣式風(fēng)格詞很可能會(huì)混淆主題風(fēng)格，可以通過在否定提示詞中添加想要風(fēng)格的反義詞來修改樣式風(fēng)格。例如在一張圖片，我們想讓它更加清晰，可以在否定提示詞添加“Blurry（模糊）”來使其變清晰，想要真實(shí)感，可以通過添加cartoon、planting來去除卡通化。Stable Diffusion 的一些參數(shù)意義和設(shè)置分辨率 ? 默認(rèn)為 512x512，Stable Diffusion是在 512x512 圖像上訓(xùn)練的，通常這些尺?提供最佳質(zhì)量和構(gòu)圖。Classifier Free Guidance（GFC）— 默認(rèn)值為 7，可以將此參數(shù)視為“創(chuàng)造?與提示詞”的?例。較低的數(shù)值讓AI 有更多的創(chuàng)意?由，?較?的數(shù)字則迫使AI完全按照提示詞創(chuàng)作。CFG 2 - 6：有創(chuàng)意，但可能不會(huì)按照提?操作。CFG 7 - 10：推薦?于?多數(shù)提?。如果提?很詳細(xì)，可能會(huì)影響圖片的連貫性，創(chuàng)造?和引導(dǎo)?成之間達(dá)成平衡的數(shù)值。CFG 10 - 15：當(dāng)你確定你的提示詞 ?夠好和具體。CFG 16 - 20：?般不推薦，除?提示詞很詳細(xì)，否則會(huì)影響圖片的連貫性。Step count（采樣步數(shù)）— 默認(rèn)為20，Stable Diffusion從充滿馬賽克的畫布開始并逐漸對其進(jìn)?去噪以達(dá)到最終輸出來創(chuàng)建圖像。此參數(shù)控制這些去噪步驟的數(shù)量。通常越高越好，但更高的步數(shù)生成的時(shí)間會(huì)更長。Seed（種子）— 默認(rèn)為隨機(jī)，種?是控制初始畫面的數(shù)字，也是每次在所有參數(shù)都固定時(shí)?成不同圖像的原因。默認(rèn)情況下,每次生成種子都是隨機(jī)的，如果保持提示詞、種子以及其他參數(shù)都不變，那么可以多次生成相同的圖像。注意：某些種子可能會(huì)一些提示詞適配度很高，所以可以通過使用相同的種子來測試更改提示詞帶來的影響。Sampler（采樣器）— 采樣器是在?成過程中?于對圖像進(jìn)?去噪的?法，并且由于它們在圖像?成中計(jì)算下?步的?式不同，因此它們需要不同的持續(xù)時(shí)間和不同數(shù)量的步驟才能獲得可?的圖像。建議初學(xué)者使?DDIM ，因?yàn)樗俣瓤?，通常只?10 步就可以?成好的圖像，可以輕松快速地進(jìn)?實(shí)驗(yàn)。
|
