大家好我是AIGC阿道夫

一、什么是ControlNet

ControlNet是一种辅助式的神经网络模型结构，它的主要作用是在Stable Diffusion模型中引入额外的条件控制，以更精细地控制AI绘画的生成过程。

ControlNet通过在Stable Diffusion模型的基础上添加辅助模块，复制出两个相同的部分：一个是“锁定”副本，另一个是“可训练”副本。ControlNet主要在“可训练”副本上施加控制条件，然后将施加控制条件后的结果与原始SD模型的结果相加，以获得最终的输出结果。

二、安装ControlNet插件

1、自动下载

目前ControlNet插件已集成在Stable Diffusion WebUI的扩展内，可以一键自动下载安装。

根据图片红框顺序点击安装即可，Stable Diffusion WebUI -> 扩展 -> 可下载 -> 加载扩展列表 -> sd-webui-controlnet ->安装。（我这里已经安装过了，所以会显示已安装）。

sd-webui-controlnet

安装完成后，重新加载Stable Diffusion WebUI界面：已安装->应用更高并重启 即可。

重启Stable Diffusion WebUI

注意：如果遇到报错，或者长时间卡顿在安装状态，可以刷新WebUI界面尝试重新安装。但是，重新安装时可能存在报错，大概意思是提示您已经存在未完成的下载文件，无法继续安装。
此时需要你手动前往Stable Diffusion WebUI的项目目录，手动删除之前未下载完成的已损坏文件，以我的完整路径为例：D:\sd-webui-aki-v4.6.1\tmp\sd-webui-controlnet，删除除该目录内的sd-webui-controlnet文件夹，然后重新来到UI界面点击Install按钮安装。

2、手动安装

如果您无法通过自动安装，也可以选择手动下载安装。（这个主要是针对一些不会科学上网的用户）

国内镜像下载地址：

https://gitcode.net/ranting8323/sd-webui-controlnet

将下载好的文件解压到目录Stable Diffusion主目录的extensions文件夹下即可。我这里的目录是：D:\sd-webui-aki-v4.6.1\extensions

解压完重新启动Stable Diffusion WebUI即可。

在完成上述所有安装步骤后，在Stable Diffusion WebUI的主界面上就可以看到ControlNet的窗口了，界面如下：

至此，安装完成。

三、安装ControlNet模型

如果你使用的是秋叶的整合包，会提供所有的ControlNet常用模型文件，

百度网盘

链接：https://pan.baidu.com/s/1ejV_tgfi3s7FClYNIrm5Xw?pwd=1024 提取码：1024

夸克网盘

链接：https://pan.quark.cn/s/aca68291e67d

下载完成后将文件放在指定目录下面，我这里的存放目录：D:\sd-webui-aki-v4.6.1\extensions\sd-webui-controlnet\models

注意：ControlNet并非只有这些模型，根据不同使用场景，Stable Diffusion会自动下载一些其它模型，这些模型的目录可能位于.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\clip_vision，又或者.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\downloads之类的目录下。如果遇到需要下载的可以单独去下载相关模型存放在对应目录下面即可。

四、ControlNet模型名称含义

在我们下载完成模型之后，模型的名称会比较混乱，让人不易理解，我们以其中一个Canny模型为例，为大家讲解模型名称中各个部分的具体含义。

control _ v11 p _ sd15 _ canny _ fp16.pth

• Control

• • ControlNet的官方模型全部都为Control开头，用与于其它模型区分。

• V11

• • 代表着模型的版本为V1.1

• P

• • 此处为P代表已可以用于生产环境，可正常使用。
  • 此处为E代表为实验性阶段模型，可能存在BUG。
  • 此处为U代表这是未完成的，半成品，不建议使用。
  • 该部分除了P之外，还有E、U共计三种标识。

• SD15

• • SD15 = Stable Diffusion 1.5
  • SD15s2 = Stable Diffusion 1.5 With Clip Skip 2
  • SD21 = Stable Diffusion 2.1
  • SD21v = Stable Diffusion 2.1v-768
  • 模型适合的SD基础模型版本，除了SD15之外，还有下列内容。

• Canny

• • 此为模型所对应的预处理器名称，我们通常以此来判定对应的模型

• FP16

• • 此为模型的精度，这里是半精度浮点数，适合GPU性能较低的平台，无此部分的通常为FP32的模型，对GPU性能要求较高。

• .PTH

• • 后缀除了.PTH之外，还会有一个与该模型名称完全一致，但后缀为.yaml的配置文件。
  • 如果你的PTH与Yaml文件名称不一致，可手动修改为对应的名称。

五、ControlNet模型概述

我们根据下图的模型分类给大家逐一介绍。

• 控制类型：是指具体某一类的模型分类，通常该模型下面有至少一个预处理器和对应模型。
• 预处理器：通常至少有一个预处理器属于某个控制类型。
• 模型：对应控制类型下的具体ControlNet模型，这里是我们下载模型的调用通道。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】