发布日期：2024-08-14 15:49 点击次数：187
图片就去爱色色网
在出手这篇著作之前，我想先给环球先容一下我个东谈主学习深远 SD 的学习弧线。
先学最基础的，能够意会参数模子提醒词的用途，先把 SD 的过程跑通，这一步能够不错作念出来相对看得畴昔的图了然后再去磋商模子和提醒词的高等用法，比如，混用 lora 模子，提醒词的分步和会通写法，这个时代，势必会波及到一些旨趣性的东西，就会意会为什么 AI 画不好手了。到这一步，不错对图进行针对性的优化了，比如说一个图若何够不上提醒词想要的效果，不错针对性地优化提醒词。学习其他功能，图生图，Control net 插件，以及分层限度 Lora 模子等进阶功能。教师我方的模子图片
一、图片对比图片
1. XYZ 图表的使用
XYZ 三维图表是一种用于可视化三维数据的图表。它由三个坐标轴构成，分别代表三个变量。这个器用的作用就是不错同期稽查至多三个变量关于落幕的影响。具体在 sd 中，xyz 图表不错匡助咱们不雅察到三个变量的变化对图像的影响，以便咱们更好的养息参数，如斯，咱们便对各个参数的作用愈加了解，即使以后 sd 更新了新参数，咱们也不错在不需要教程的情况下知谈该参数的含义。
这项功能不错在 文生图/图生图 界面的左下角中 “剧本” 一栏内聘用 “X/Y/Z 图表” 以启用。
图片
举个例子，咱们想要测试采样器（Sampler），迭代步数（Steps）和基础底模子（Checkpoint name）三个变量对图片的影响，点开 X 类型，聘用为采样器，Y 和 Z 按次树立为迭代步数和基础底模子。
图片
在填各个轴数值的时代，将对应的参数以英文逗号离隔即可。以 X 轴的 sampler 为例，咱们不错把要对比的采样器的称呼复制进去。另外，也不错点击右边的“book”图标，加载腹地整个的采样器，然后删撤离不需要的即可。在填 Y 轴的迭代步数时，除了不错径直输入数值外，也不错接受另外两种方式来写。
泉源-至极（间距），举例:20-50（+10）就示意，从 20 到 50，每一步加 10。泉源-至极[步数]，举例 20-50[4]就示意，从 20 到 50，一共四步。这两种方式的效果齐与径直输入“20,30,40,50”等效。
最终咱们会得到一个这样的网格图。
图片
这里还有一个小妙技，若是咱们合计图与图之间莫得间隔，混在一齐不好分离，不错养息这里的数值，来增多图与图的间隔。将这里的间隔养息为 12 后效果如下：
图片
2. 提醒词矩阵
①基本使用方式
在许厚情况下，一大串从收罗上抓取的提醒词在某些模子中推崇精湛，但在更换模子后可能就无法使用。有时代，一些看似不必的提醒词被移除后，画面的嗅觉会变得不端，不了了到底是何处受到了影响。这时代，就不错使用 Prompt matrix 来深远探究原因。与之前先容的 X/Y/Z plot 比较，Prompt matrix 的使用方式相似，齐不错生成一组图表，但它们的树立方式有很大的别离。
咱们举个例子来阐发这个剧本的使用门径：
举例咱们在别东谈主的提醒词中看到了这两个词：dutch angle，autumn lights，翻译过来是歪斜的角度，秋天光影，每个字齐懂，然而咱们如故无法知谈这些词对图像的影响。
1）领先咱们把聘用提醒词这个部分选中正面。（默许就是选中正面，不需要去篡改）。其他参数咱们保持默许即可。
图片
2）接下来咱们将两个词填入正向提醒词中，这里的形式是“|测试提醒词 1|测试提醒词 2”。
图片
在上头的这个图中，第一溜的提醒词会被用在每一张图上，第二、三行被“｜”分割的提醒词，会被当成矩阵提醒词，交错添加在最终的图上。
3）然后，咱们不错产出这样一张图。
图片
左上角的第一张图，就是什么独特提醒词齐没加的景色，它第二列的图，则彻底是添加了“dutch angle（歪斜角度）”这个提醒词的效果。第二行则是齐增多了“autumn lights（秋天光影）”提醒词的效果。而最右下的，就是歪斜角度与秋天光影全部提醒词齐有的效果。 这样你就能很了了地看到，各式提醒词交互叠加起来的效果。
②进阶使用
提醒词矩阵不啻一次不错对单个词进行测试，还不错将一组词组合在一齐进行测试。举例：
图片
以此当作提醒词产出的图如下：
图片
二、图片微调在完成最终的画图后，有时咱们可能会发现一些小问题，或者想要微调画面。这时，咱们不错使用“变异无意种子”来落幕。
以这样一张原图为例：
图片
领先，咱们先将无意种子笃定，然后将这里勾选后，底下的子参数“变异无意种子”会被开放，变异幅度越大，最终的图与之前的图的区别越大。一般来说，咱们会把这个值养息为 0.3，天然，这里也不错借助上头先容过的 xyz 图表进行尝试，找到一个最合适的值。另外，咱们不错把批次数提高，找到最合适的落幕。
图片
最终，咱们不错得到这样的落幕。
图片
三、图片放大由于显存大小的截止，闲居咱们只可在出图时生成 512*512 大小的图像。关联词，这个大小的图像闲居不够清澈，即使进行高清成立，也只可将分辨率提高到 1024*1024。若是咱们强即将分辨率改变为 2000 以上，要么显存径直爆掉，无法生成图像，要么生成的图像会出现各式奇怪的问题。
为了惩处这个问题，咱们不错使用“multi diffusion”插件来放大图像。这是面前图像放大的最好惩处决议，不错在放大图像的同期补充细节。
1. 插件的装配
一般来说，在秋叶的整合包中依然自带了这个插件。若是莫得的话，点击延迟→从网址装配→重启UI即可。
网址：https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
图片
2. 插件的使用
①使用前的准备
去掉正向提醒词中的有施行预料的部分，只留住举例'highres, masterpiece, best quality, ultra-detailed 8k wallpaper, extremely clear'的词汇。由于这个插件的旨趣是对大图进行分块绘制，若是在正向提醒词中加入了具体对象，会使得这个对象遍布在图像的各个区域。「可选」把提醒词指引总共调大，举例调到 15 傍边，经过我的测试，效果是要好于 7 的，然而别离不大。图片
3. 插件参数树立
咱们领先将要生成的图发送到图生图下，将页面往下转化，找到这两个标题，并点击右侧的箭头伸开树立项。
图片
①Tile Diffusion 参数树立
咱们只需要养息以下五个参数即可，其他参数保持默许即可。
放大算法：真东谈主图像用 4x+，二次元图像用 4x+anime。
放大倍数，即最终图像相干于原图的放大倍率。
renoise stength 保举“0.3-0.6”之间。
图片
②Tiled VAE
图片
首次使用时点击 reset，系统会自动筹谋出最稳健刻下电脑成就的编码器区块大小息争码器区块大小。然后若是放大后的图豪情失真，勾选压缩编码器豪情成立即可。
临了，咱们点击生成即可。
从右下角的图片信息不错看到，咱们依然得到了 2k 的图。
图片
况兼在原比例露馅时，也黑白常清澈的。
图片
四、提醒词进阶在之前的著作中，咱们先容了提醒词的基本语法和撰写方式，在这里咱们要先容一下更进阶的语法和使用方式。
1. 提醒词的行动
先说论断：越遑急的提醒词应该放到越靠前的位置。
这里作念一个测试，1girl，1cat
图片
不错看到，当 cat 这个提醒词在前时，猫的细节明显多了许多，而且致使 AI 将猫耳的元素加到了东谈主物身上。
论断：Prompt 的行动会影响画面的组织方式，越靠前的 Prompt 对构图的影响越大。天然本次老到只波及一个场景，但在更多的后续探究和复杂场景构建中，这种影响的灵验性依然得到施展。关联词，它并非彻底灵验，在某些情况下或者较为复杂的场景中，这种规定可能会失效，但总的来说，死守这个规定写提醒词更容易获取我方想要的场景。
2. 分步描写
有时代，在特定的情况下，你可能但愿一个提醒词在筹谋过程中陆续到达到 X%时罢手，或者在达到 X%时才加入，或者在出手时使用提醒词 A，然后在达到 X%时切换到提醒词 B。在这种情况下，SD 提供了这神志功能的语法：
[A:B:number] 示意：A 提醒词跑到 number 之后换成 B 提醒词
[A:number] 示意：A 提醒词跑到 number 之后才出手加入
[A::number] 示意：A 提醒词跑到 number 的时代罢手使用
咱们来看一个例子：
假定你想画一位穿着白色毛衣和橘色皮衣的女孩，并测试不同比例的 Prompt 的效果，你不错尝试以下方式：
[White sweater:orange Leather coat:0.2]
这意味着前 20％的图像使用“白色毛衣”提醒词进行绘制，剩下的 80％则使用“橘色皮衣外衣”提醒词络续绘制。
相通，[White sweater:orange Leather coat:0.5]示意在绘制到一半时，提醒词从“白色毛衣”更始为“橘色皮衣外衣”，而 [White sweater:orange Leather coat:0.9] 则示意在绘制到 90％时才切换到“橘色皮衣外衣”。以下是效果对比：
图片
3. 会通描写
语法是：[提醒词 A|提醒词 B]。
这种用法相称淡薄，基本上就是在每个回合中握住轮替使用提醒词，效果会变得难以展望。举例，下图使用了这样的提醒词，[black hat|red hat]是黑帽和红帽提醒词轮换使用，但施行上生成的帽子并莫得果然造成红黑相间，而是黑底帽子带有了红色遮掩。
图片
笔者提倡，这种用法慎用，可控进度极度低，很容易出现奇奇怪怪的图。
4. 反向提醒词的进阶用法
反向提醒词的高等用法不单是是写一些低质地的提醒词，还不错写一些与正向提醒词相干但不需要的提醒词。举例，在正向提醒词中，上半身闲居会默许绘制手，然而咱们不错将手写入反向提醒词中，从而达到愈加解放的绘制效果。
5. 借助 ChatGPT 写提醒词
在编写提醒词时，咱们可能会碰到不知谈如何神志一个场景的情况。举例，咱们想要绘制一张女孩在咖啡馆里看书的画面，但不知谈如何神志这个场景。这时，咱们不错借助 ChatGPT 来提供灵感，开放想路。
具体操作如下：领先给 ChatGPT 一个基本的提醒，让它匡助咱们产生画面神志。
我这里的基本提醒如下：
假定你面前是一个创意插画师，接下来我会给你一些提醒，你需要以这个提醒为依据，去组合设想生成一副插画的话语神志，请能干，不允许用长句，尽可能用词汇，其次是短语。另外尽可能多地合理地去补充场景中对东谈主或风光的细节和特征，不少于 5 处，举例主体的一稔，长相，姿势，布景的花卉树木等，尽可能的帮我补充这些我莫得提到的细节，举座内容丰富少许。
环球不错径直复制，也不错在此基础上加入一些其他细节。
之后，咱们输入一个毛糙的场景神志，举例“女孩坐在咖啡馆”，ChatGPT 就会给出对应的画面神志，接下来，咱们从中索取出遑急的提醒词即可。
另外，咱们还不错将借助一些 ChatGPT 的软件或浏览器插件，将这个保存成一个模板，以后咱们需要时径直输入咱们的画面即可，不需要相通输入基本提醒。
以 iOS 上一个叫“Chitchat”的软件为例：（chitchat 的职责主谈主员看到后，请给我告倏地）
图片
在这部分的临了，独特补充一个常识点：ChatGPT 的提醒语句式：
“假定你你面前是 XX 大师，需要作念 XXX，请能干：条款 1，条款 2”，使用这样的句式会让 ChatGPT 的效果大幅提高。这个不是本文重心，这里不伸开胪陈。
5. 提醒词管制
在出手之前，我想先说一下为什么保举这样作念。天然网上有许多所谓的提醒词大全，但我不提倡径直替换我方的提醒词管制，原因如下：
咱们不需要那么多的立场，过多的提醒词会增多使用资本和管制难度。咱们不知谈未经使用的提醒词具体会给图片带来什么变化。恰是出于这样的沟通，我不想共享所谓的“海量优质提醒词”，我认为这些东西的噱头价值大于施行预料，保藏后很可能就会被淡忘。授东谈主以鱼不如授东谈主以渔，我但愿环球学会的是一种灵验的提醒词管制门径。
这里保举一个网站： https://moonvy.com/apps/ops/ ，咱们不错在这里对咱们的提醒词进行管制。
使用门径不错参考这个视频： https://www.bilibili.com/video/BV15N411P7D3/?vd_source=bd8f1862d445f4e01d7c1f49857dd474
五、ControlNet插件面前的 AI 绘画本领主要接受了一种名为扩散模子的门径，这种门径能够使生成的图片呈现出独有且豪阔真感性的效果。关联词，这种门径也存在一个显赫的问题，那就是生成的图片可控性相称差。在某些情况下，生成的图片可能会相称细巧，而在其他时代，效果却可能不尽如东谈成见。这使得遐想师在使用此类器用时，很难确保能够得志客户的具体需求。
关联词，跟着一种名为 ControlNet 的新本领的出现，这一形势得到了改善。ControlNet 能够匡助遐想师更好地限度 AI 绘画过程，从而使这个器用愈加相宜他们的施行职责需求。AI 绘画不再只是是一个供东谈主们文娱的小玩物，而是徐徐发展成为一种能够果然匡助遐想师提高职责遵循的实用器用。天然面前 ControlNet 的可控性仍然有待提高，但与之前的本领比较，它依然落幕了质的飞跃。
Controlnet 插件的本体是利用图像当作输入信息的方式，以弥补话语在某些情况下的局限性。相干于话语而言，图像愈加直不雅、简易、易于意会，能够愈加准确地传达信息。因此，Controlnet 利用图像当作输入方式，不错更好地匡助 AI 意会咱们的需求，从而生成咱们所需要的图片。
在图片中，包含了多种信息，举例线条概述、名义潦倒等。Controlnet 插件的职责旨趣是使用特定的模子索取出特定的图像信息，然后将其输入给 AI，指引 AI 生成图片。
总的来说，咱们不错将使用图片当作提醒词视为补充话语的方式。这里补充一下，在文生图和图生图顶用 controlnet 插件的区别，一句话说剖判，需要生成新的图片用文生图，在原有图片上优化使用图生图。
1. 插件装配与模子下载
①插件装配
一般来说，网上的整合包依然包含了 controlnet 插件，不需要独特装配。
装配方式：
聘用到从网址装配： https://github.com/Mikubill/sd-webui-controlnet （保举）不错径直去这个连结这里下载 https://github.com/Mikubill/sd-webui-controlnet/archive/refs/heads/main.zip ，然后解压到 extension 文献夹②模子下载
咱们不错径直去 https://huggingface.co/lllyasviel/ControlNet-v1-1下载对应的模子 ，把这些后缀为 safetensors 的文献下载下来，然后放到这个文献夹中即可。
图片
2. 使用
欧美萝莉①基本使用过程
这里以最常用的 canny 模子为例，模式聘用文生图，canny 模子的作用就是索取出图片的线条信息并输入给 AI。
在界面最底下找到 controlnet 的插件，点击右边箭头伸开参数，将这四个选项全部启用。
图片
然后将预处理器和模子全部聘用为 canny，这里要能干，前边的预处理器与后头的模子要对应。接下来点一下这个爆炸的 icon，在右边会露馅所索取出的线条信息。
图片
底下的那些参数咱们先保持默许不变，接下来，修改采样器为 DPM++2M Karras，总批次数修改为 4，基础底模子改为“cetusMix_Coda2”，况兼填入如下的提醒词：
正向提醒词：masterpiece, best quality, ultra detailed, A girl, cute, light smile, black hair, purple eyes, yellow clothes, standing, outdoor, long sleeves,
反向提醒词：nsfw,（watermark）,sketch, duplicate, ugly, huge eyes, text, logo, monochrome, worst face, （bad and mutated hands:1.3）, （worst quality:2.0）, （low quality:2.0）, （blurry:2.0）, horror, geometry, badpromptv2, （bad hands）, （missing fingers）, multiple limbs, bad anatomy, （interlocked fingers:1.2）, Ugly Fingers, （extra digit and hands and fingers and legs and arms:1.4）, crown braid, （（2girl））, （deformed fingers:1.2）, （long fingers:1.2）,（bad-artist-anime）, bad-artist, bad hand
然后咱们点击生成即可。不错看到，最毕生成的图片是在启动的真东谈主的基础上生成的。
图片
3. 具体参数先容
低显存模式：若是你的显卡内存小于等于 4GB，提倡勾选此选项。
好意思满像素模式：勾选后，controlnet 会自动去匹配稳健的像素大小。
允许预览：勾选后，点击爆炸 icon，在图片右边会展示所索取的图片特征信息
限度权重：不错养息该项 ControlNet 的在合成中的影响权重。
指引介入步数&指引阻隔步数：controlnet 对最毕生成落幕的限度步数范围比例。Guidance strength 用来限度图像生成的前百分之些许步由 Controlnet 主导生成。Guidance Start（T） 树立为 0 即代表出手时就介入，默许为 0，树立为 0.5 时即代表 ControlNet 从 50% 步数时出手介入筹谋。
canny low threshold & canny high threshold
更高的阈值下，所索取的线条更少，更低的阈值下索取的线条更多。
图片
限度类型：更死守提醒词，更死守 controlnet 输入的图像特征，或者平衡。
①常用模子先容
除了上头使用的 canny，还有几个常用的模子，我在这里给环球先容一下其他模子的用途。
Depth
通过索取原始图片中的深度信息，获取前后景的关系，不错生成具有相通深度结构的图。一般用于索取物体边际概述，莫得物体里面的细节。
图片
以这个模子为指引，生成的图片如下：
图片
Lineart
与 canny 雷同，该模子对线稿的处贤达力极为优秀。相通亦然将图形索取成线稿，然后在此基础上进行上色与细节补充。
图片
图片
MLSD
该模子通过分析图片的线条结构和几何时事，来构建出建筑外框，稳健建筑遐想的使用。
图片
图片
Normal
适用于三维立体图，通过索取图片中 3D 物体的法线向量，绘制出的新图与原图的光影关系完全一致。此门径适用于东谈主物建模和建筑建模，但更稳健东谈主物建模。
图片
图片
hed（边际检测算法）：
canny 索取线稿更硬朗，hed 索取的线条更好听
图片
图片
OPENPOSE
凭证图片生成动作骨骼中间图，然青年景图片，使用真东谈主图片是最合适的，因为模子库使用的真东谈主素材。
面前依然有五个预处理器，分别是 openpose，openposefull，open posehand，openposefaceonly，openposeface，这五个预处理器分别不错识别肉体姿态，姿态+手部+脸部，肉体+手部，仅脸部，肉体姿态+脸部。
咱们这里以肉体姿态为例，
图片
上图中右边等于 openpose 索取出来的东谈主物骨骼图，以此指引生成的图像如下，不错看到，图像里东谈主物的姿势齐与原图保持了一致。
图片
这里趁机给环球保举一个网站： https://escalalatina.com/mujeres/sentada-azul-naranja/ ，不错从这里面下载东谈主物的不同姿势的图片。
Segment
语义分割模子，标注画面中的不同区块豪情和结构（不同豪情代表不同类型对象），从而限度画面的构图和内容。
图片
如上右图所示，每个色块代表不同的含义，完整的色块释义对照表如下：
图片
原图文献连结如下： https://cowtransfer.com/s/3a5fc9e578ab44 ，诸位自取即可。
在这个模子下，咱们不错更解放地限度图片的生成。举例咱们想要添加一个东谈主，将预处理后的色块图下载后，在 PS 中添加一个东谈主物概述的色块，豪情从表格中获取。然后再导入到 controlnet 中，能干这时预处理器要聘用无，后头依旧聘用 seg，如图所示。
图片
再次点击生成后，不错看到，图片按照咱们的条款在中下部添加了一个拿箱子的东谈主，况兼由于咱们聘用的模子是二次元的，是以生成的图片亦然二次元的。但举座的结构是死守咱们的指示的。
图片
六、常见问题这里整理了一些环球在使用 stable diffusion 过程中碰到的常见问题，但愿不错匡助到环球。
1. Vae 模子是否必须要有？
不需要，面前的大模子许多依然自带了 vae 模子，咱们即使不使用独特的 vae 模子也不错得到比较好的效果
2. 大模子和 lora 是否必须对应？
这个是不需要的，况兼致使咱们不错对 lora 模子混搭使用。举例：
3. 我明明神志的是一个东谈主，最终图像却生成了多个东谈主？
一般来说多东谈主的问题,能够率是图像尺寸过大，或者比例分歧导致的。
为什么会出现这样的问题呢？这要从 stable diffusion 的底层教师集提及,stable diffusion V1.5 的版块其实是基于 512x512 图像上进行微调的。当我树立的图片尺寸宏大于 512x512，或比例与 1:1 进出过大时，SD 就会接受提醒词中的部分进行填充，是以会出现多东谈主或多头的情况。
惩处决议：
a. 多抽卡。最径直的决议，生成许多张图，把多东谈主或多头的图片扔掉，然而这种决议很铺张算力。
b. 尽量保持文生图时，径直生成的图像比例和尺寸在 1:1 和 512x512 傍边，需要放大时接受著作中提到的措施进行。
4. 无法生周全身照，尽管我添加了“full body”这种词。
a. 使用 512*768 这样的纵向比例的图。
b. 在提高词中加入诸如“牛仔裤”此类的对下半身的神志词
另外，在碰到问题时，咱们不错开放限度台，看一下限度台的报错，许多小的问题，咱们齐不错通过这里发现并惩处。
举例在我初度使用 controlnet 时，发现限度台报出来这样雷同下载失败的谬妄，于是我手动下载限度台中的文献到指定的文献夹就惩处了这个小问题。
图片
诸如斯类的问题还有许多，善用限度台不错惩处大部分的小问题。
跋文如今，咱们频繁不错看到相干“学习 AI，不然你就逾期了”的著作和帖子，然而我认为这种说法并不完全正确。客不雅上说，chatgpt、mj 等 AI 器用依然被相称泛泛地期骗，况兼也确照实实地带来了分娩力的提高，然而咱们并不需要像遐想师必须熟练掌抓 PS 一样精通 AI。相背，咱们只需要保持兴趣心，尝试一下，摸索一下，享受这个过程，无须把它当成考试或者培训。咱们不应该被“不学 AI，立时就会被替代”的急躁所困扰。刻下，AI 绘画等本领也只是出现了不到 1 年的新事物，莫得所谓的大师，惟有在互联网上饰演大师的东谈主，包括笔者在内，也只不外是 AI 绘画界限的小学生良友。科技日眉月异，自旧年 AI 绘画本领初现线索以来，其落幕果决大不交流，当天之 AI 绘画已愈发执意。
因此，咱们只需要保持兴味即可，而非纠结于学习哪种本领、装配哪些插件。在这个新界限里，咱们应怀抱兴趣心，共同享受探索的乐趣，基于此，若能为生计、职责带来分娩力的提高，那等于镌脾琢肾。
愿诸君玩得应允就去爱色色网。
本站仅提供存储做事，整个内容均由用户发布，如发现存害或侵权内容，请点击举报。