超级详细!奶奶都能看懂的Stable Diffusion入门教程

一、前言

在使用Midjourney的时候有不少疑问就是 Midjourney 的图片怎么精准的控制,或者是不改变某个物体的情况下更换背景等等,实在是太多问题了。

不过确实,Midjourney 生成的图片很难精准的控制,随机性很高,需要大量的跑图,不过没关系,在社群小伙伴们的强烈建议下,我在这篇文章中为大家分享 SD 的教程。

SD 效果图展示:

超级详细!奶奶都能看懂的Stable Diffusion入门教程

动漫插画,就说这效果强不强吧…

超级详细!奶奶都能看懂的Stable Diffusion入门教程

是不是迫不及待想试一试了呢,那我们开始吧,手把手教学,外婆真的看了都会的教程,开始进入教学!!

二、Stable Diffusion 介绍

Stable Diffusion是一个使用人工智能技术的绘画软件,旨在帮助艺术家和设计师快速创建高质量的数字艺术作品。软件使用最先进的GAN(生成对抗网络)深度学习模型来学习并模仿艺术家的创作风格,以产生相似的艺术作品。

Stable Diffusion拥有用户友好的界面,让用户可以轻松地调整绘画参数并实时预览结果。用户可以通过选择不同的画布、画笔和颜色,或者通过调整图像的风格、纹理和颜色参数来创建各种不同的艺术作品。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

此外,Stable Diffusion提供了一系列高级功能,例如批量处理、自动矫正以及自动化调整等,这些功能相当于让用户拥有一台高效的绘画工作站,可以轻松应对及完成大量的绘画任务。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

总而言之,Stable Diffusion是一款功能强大的AI绘画软件,相较于目前市面上主流的AI绘画软件Midjourney更加强大,可以说Stable Diffusion是所有AI绘画软件的鼻祖级存在。同样,其强大也意味着上手难度和配置要求更高。针对这两款软件,下面将进行简要比较。

三、主流 AI 绘画软件的对比

超级详细!奶奶都能看懂的Stable Diffusion入门教程

四、Stable Diffusion 电脑配置要求

1. 配置要求:

需要使用 N 卡(NVIDIA 显卡),显卡的显存至少需要 4GB 以上显存才能在本地运行。最低配置需要 4GB 显存,基本配置 6GB 显存,推荐配置 12GB 显存或者以上。

Stable Diffusion Ai 绘画主要是运行显卡,算力越强,出图越快。显存越大,所设置图片的分辨率越高)

“推荐使用 RTX4090 显卡哦” —–来自一个 3080 显卡玩家

超级详细!奶奶都能看懂的Stable Diffusion入门教程

另外需要注意的是,使用 Stable Diffusion 进行绘画需要占用大量的硬盘空间。因为该软件主要依赖于 GAN 模型进行图像的生成,而下载的模型文件通常都非常大(一个模型可能需要 2G 以上),批量处理时也需要占用大量内存。因此,我们建议使用 Stable Diffusion 的用户应配置至少 60GB 的硬盘空间。同时,这款软件相较于 Midjourney 更为强大,但对用户的上手难度和配置要求也更高。

2. 网络要求:大家都懂哈,咱也不说。

3. 操作系统:需要是 Win10 或 Win11。

满足以上条件基本上就可以用 SD 跑图啦。

五、Stable Diffusion 安装

安装 Stable Diffusion 可以使用大佬制作的一键安装/启动包,这样可以免去手动安装以及各种报错的烦恼。手动安装需要从 Github 下载文件,并下载 Python 等工具,而且初次安装时容易出现各种问题,非常复杂。我曾经自己手动安装过,整整花了一个上午的时间。因此,我不建议也不会教大家手动安装,如果你执意想要尝试手动安装,你可以在网上查找相关教程。我们需要把时间用在更有意义的地方。

上黑科技!!!咱直接去使用@秋葉 aaaki 大佬的免费启动器和安装包。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

我们下载这两个文件,可以去B站搜索:@秋葉 aaaki获取

注意:下载的文件一定要放在空间比较大的盘里。

来看下具体操作:

1. 安装一下这个“启动器运行依赖”。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

2. 然后把这两个文件复制一下,我们需要粘贴到“webui:文件夹中

超级详细!奶奶都能看懂的Stable Diffusion入门教程

3. 粘贴替换目标中的文件。粘贴的位置看我的文件夹路径。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

4. 这里我重新走一遍打开流程,以防大家退出去了不知道从哪里进。我们打开下载的文件夹,然后进入到“novelai-webui”文件夹

超级详细!奶奶都能看懂的Stable Diffusion入门教程

5. 打开“novelai-webui-aki-v3”文件夹。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

6. 然后下拉下拉…找到这个启动器,双击就完事了,这个就是我们刚刚粘贴替换的文件。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

7. 然后就打开啦,一键启动就好了。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

六、Stable Diffusion 基础操作

1. 大模型的切换

首先是这个界面左上角,在这里可以切换你所安装的模型。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这里我先推荐一下我常用的模型网站:C 站: https://civitai.com/

超级详细!奶奶都能看懂的Stable Diffusion入门教程

然后我们在 C 站上下载一些模型:

超级详细!奶奶都能看懂的Stable Diffusion入门教程

接下来就是安装了,很简单,把下载的模型放到这个路径文件夹中。然后刷新 web UI 界面(就是 SD 操作界面)

超级详细!奶奶都能看懂的Stable Diffusion入门教程

2. 模型的 VAE(Sd 的 VAE)

VAE 的全称是 Variational Auto-Encoder,翻译过来是变分自动编码器,本质上是一种训练模型,Stable Diffusion 里的 VAE 主要是模型作者将训练好的模型“解压”的解码工具。

这里可以切换 VAE。一般情况下我们就选择第一个自动就行了。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

在 C 站下载模型,在下载页面会有文件显示,如图。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

VAE 的安装路径看我这里,把下载的文件复制粘贴,然后把 web UI 界面刷新一下(就是 SD 操作界面)

超级详细!奶奶都能看懂的Stable Diffusion入门教程

总结:

  1. 总的来说就是你在 C 站上下载的模型有些内置就有 VAE 的属性(不需要下载 VAE 文件),有些没有内置下载的时候我们就把 VAE 文件下载。(VAE 文件一般大小在几百兆左右)
  2. VAE 的作用就是没有加载 VAE 的图片是灰灰的,加载之后就是会产生一个润色的效果,色彩更加丰富。

3. 功能选项

这里我挑选几个重要的功能讲解下。

文生图,这里与 Midjourney 不同的是,SD 有一个反向关键词(意思是不要图片出现什么),文生图的关键词格式与 Midjourney 基本一致,不知道的朋友可以去看我的往期文章:

超级详细!奶奶都能看懂的Stable Diffusion入门教程

下面这块参数就是设置图片的一些基本参数,分辨率、尺寸等等,具体参数见下文。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

图生图,这个也很好理解,放参考图然后输入提示词,与其他 AI 绘画软件一致。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

图片信息,意思是你用 SD 画的图,放在这里来,右边会显示这个图片的一些参数,包括关键词。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

然后你可以选择右下角的一些功能,比如“文生图”。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

模型合并,这个功能很厉害,后面我出一篇关于这个功能的教学,大致就是把多个模型混合起来。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

训练,这个就是训练自己的模型,新手用的比较少,后面可用作工作流的部署。(这个才是我推荐的核心哦)

超级详细!奶奶都能看懂的Stable Diffusion入门教程

设置,然后就是设置,大家自己去研究下就好了。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

扩展,这个就是跟插件扩展相关的了,后面再讲。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

4. 提示词和反向提示词

提示:

提示词内输入的东西就是你想要画的东西,反向提示词内输入的就是你不想要画的东西。

提示框内只能输入英文,所有符号都要使用英文半角,词语之间使用半角逗号隔开。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

一般来说越靠前的词汇权重就会越高,比如我这张图的提示词:

The personification of the Halloween holiday in the form of a cute girl with short hair and a villain’s smile, (((cute girl)))cute hats, cute cheeks, unreal engine, highly detailed, artgerm digital illustration, woo tooth, studio ghibli, deviantart, sharp focus, artstation, by Alexei Vinogradov bakery, sweets, emerald eyes。

万圣节假期的拟人化形式是一个留着短发和恶棍笑容的可爱女孩,可爱的帽子,可爱的脸颊,虚幻的引擎,高度详细,艺术种子数字插图,woo tooth,吉卜力工作室,deviantart,锐利的焦点,artstation,由 Alexei Vinogradov 面包店,糖果,绿宝石般的眼睛。

第一句关键词词组:万圣节假期的拟人化形式是一个留着短发和恶棍笑容的可爱女孩。那生成的图片主体画面就会是万圣节短发可爱笑容女孩

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这里可能有用过 Midjourney 的小伙伴们就有疑问了,(((cute girl)))是什么意思,为啥有这么多括号,我来为大家解答下,这个是权重调节,类似 Midjourney 的 ::

① 最直接的权重调节就是调整词语顺序,越靠前权重越大,越靠后权重越低,上面说过。

② 可以通过下面的语法来对关键词设置权重,一般权重设置在 0.5~2 之间,可以通过选中词汇,按 ctrl+↑↓来快速调节权重,每次调节为0.1,也可以直接输入。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

③ 加英文输入的(),一个括号代表这组关键词的权重是 1.1,两个括号是 1.1*1.1 的权重,不要加太多了哈。可以结合第二点固定权重,比如(((cute girl:1.2))),那这个关键词的权重就很高了。

5. 功能按钮

我们来介绍下右边这几个功能,生成就不说了,输入关键词生成就跑图了。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

第一按钮的意思是读取你上一张图的所有参数信息(包括关键词),比如你画一张图之后,关掉了软件,再次启动点击这个就会把参数复制进来。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

第二个按钮就是删除了,清空关键词;这里可以和第一个按钮结合用哦

超级详细!奶奶都能看懂的Stable Diffusion入门教程

第三个按钮就是模型选择管理

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这个按钮就是点击就会出现这些功能,你安装的模型和 Lora 都可以在这边调整。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

小知识:这里可以把你生成的图片添加到模型的封面上,方便你后面看这个模型的效果,看我怎么做:

找到这个模型的名称,然后我这里是跑出来一张图片的,点击这个按钮(lora 一样)

超级详细!奶奶都能看懂的Stable Diffusion入门教程

最终效果:

超级详细!奶奶都能看懂的Stable Diffusion入门教程

后面两个就是一个提示词模板功能:

超级详细!奶奶都能看懂的Stable Diffusion入门教程

我们可以先点最后一个按钮,把现在的关键词创建一下,取个名字

超级详细!奶奶都能看懂的Stable Diffusion入门教程

然后在模板风格这里选中我们刚刚创建的模板(可以多选)

超级详细!奶奶都能看懂的Stable Diffusion入门教程

选中之后按一下第四个按钮,我们创建的关键词就被填入进去了,这块收工!

超级详细!奶奶都能看懂的Stable Diffusion入门教程

6. 采样步数

通常情况下,采样部署只需要保持在20-30之间即可。更低的采样步数可能导致图片没有完全计算出来,而更高的步数对细节的提高也并不明显。实际上,只有一些非常微小的证据表明,更高的步数可以在一定程度上修正小范围的肢体错误。因此,只有当您想要生成高细节的图像时,才建议使用更高的步数。但是,需要注意的是,增加步数会导致出图时间变慢。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

7. 采样方法

Stable diffusion webui 是 Stable diffusion 的 GUI 是将 stable diffusion 实现可视化的图像用户操作界面,它本身还集成了很多其它有用的扩展脚本。

SD 的采样方法有很多,大家有兴趣了解的可以去知乎看看@刘登宇的一篇文章《stable diffusion webui 如何工作以及采样方法的对比》。这里我们只介绍两个种常用的。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这里的采用方式有很多,但是我们常用的就那几个,我们可以去设置里面把不需要用到的关掉,不展示在这个界面中。然后点击右边的重启 UI 就好了。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

8. 高清修复和图片尺寸参数

前面提到的两个功能,简单来说就是面部修复和针对写实风格的效果。对于面部修复来说,它能够对人脸图像进行修复,对于写实风格的描绘来说可能有些效果。但是对于平铺的效果就不太友好了,生成的图片可能会显得非常奇怪,可以自己尝试一下。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

我们说说高清修复,高清修复的意思是把基础生成的图片,按照你选择放大的倍率放大到指定分辨率之后再重新绘制图片,受到你重复幅度调节的数值影响。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

“宽度”和”高度”代表了图像的长宽比。很容易理解。而”生成批次”和”数量”则指的是要生成的图像数量和每批生成的图像数量。通过正确配置这些参数,你可以提高生成效率。

“提示词相关性”是指图像与你的提示之间的匹配程度。增加该值会使生成的图像更加接近你的提示(根据模型),但也会在一定程度上降低图像的质量。为了抵消质量损失,你可以增加采样步骤。

“高清修复”选项默认未勾选。这会影响当前图片的参数。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

9. 随机种子(seed)

这个功能与Midjourney的”Seed”功能类似。

“Seed”是一个随机数的起点。如果保持该值不变,你可以多次生成相同(或几乎相同,如果启用了Transformers)的图像。并没有天生优异的种子,但如果你只是稍作调整你的输入参数,以前产生好结果的种子很可能仍然会产生好结果。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

不同的随机种子会导致生成的图片不同。如果您想要产生差异性的图片,请在软件中勾选“随机种子编码”选项,这样系统就会在每次生成图片时使用不同的随机种子,生成具有差异性的图片。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这个功能可以通过固定一个初始值,并调整区别强度来生成图像。由于设定一个固定的“seed”值,因此生成的图像风格都具有相似的特点。

直接看图吧。

超级详细!奶奶都能看懂的Stable Diffusion入门教程

超级详细!奶奶都能看懂的Stable Diffusion入门教程

这些功能都很容易上手,只需稍微尝试一下就能很快理解。我们已经介绍了一些基础操作,现在大家可以尝试一下自己动手操作啦!赶快开始探索吧!

超级详细!奶奶都能看懂的Stable Diffusion入门教程