本篇为SD-WebUI的学习笔记,后文的AI绘画均指代基于SD-WebUI的绘画
所用到的软件来源于秋叶aaaki SD-webui一键包。
原版开源项目:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
毕竟是学习记录,所以并非是系统性全功能文档。有模糊、遗漏或者未解释清楚的部分,可以参考官方的wiki或者其他系统性教程(参考资料推荐)
一、资料推荐
1、值得关注的UP及网站
| 名称 | 分类 | 简介 |
| 秋叶aaaki | B站UP | SD-webui一键包,AI绘画 |
| 大江户战士 | B站UP | AI绘画/动画,模型训练 |
| Hugging Face | 网站 | 模型下载 |
| https://civitai.com/ | 网站 | 模型下载 绘画实例 |
| Stable Diffusion web UI | 项目 | Stable Diffusion web UI官方 |
| Stability-AI/stablediffusion | 项目 | Stable Diffusion官方 |
2、从0开始的炼丹生活(相关教程)
| 准备工作 | 初步了解 | 【AI绘画】从零开始的AI绘画入门教程——魔法导论 |
| 安装程序 | 【AI绘画】Stable Diffusion 最终版 无需额外下载安装!可更新✓ 训练✓ 汉化✓ | |
| 选择模型 | 【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论扩展文档:How to use models | |
| 调试参数 | 基础参数配置 - AiDraw【AI绘画/科普】AI训练中的黑话都是什么意思?AI又是如何训练出来的?如何调节参数?prompt提示词扩展文档:文字转图片 | AiDraw | |
| 插件管理 | 【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划 | |
| 入门基础 | 文生图(t2i/text to image) | 【AI绘画】一张图看懂新手入门文生图如何使用 |
| 图生图(i2i/image to image) | 放大图片【AI绘画】老婆2秒一键变高清!图片放大教程 AI重画拯救超低分辨率图片 | |
| ControlNet控制网络 | 【AI绘画】controlnet安装/使用教程 动作控制 景深 线稿上色【AI绘画】人设自由!人设三视图一键生成 ControlNet实战教程 Stable Diffusion【AI绘画】完美控制画面!告别抽卡时代 人物动作控制/景深/线稿上色 Controlnet安装使用教程 | |
| 模型训练 | Embedding (Textual inversion)【AI绘画】保姆式教程!Embedding 训练教程 让你的AI学会其他画师的画风与人物LoRA【AI绘画】最佳人物模型训练!保姆式LoRA模型训练教程 【AI绘画】LoRA 模型训练 参数相关问答Dreambooth / Native Train (finetune)【AI绘画】定制属于你的大模型!保姆式Dreambooth训练教程 autodl在线训练 NovelAI【AI绘画】Dreambooth训练,上传转换自己的模型 | |
| 其他 | 【AI绘画】大魔导书:AI 是如何绘画的?Stable Diffusion 原理全解(一)【AI绘画】当我们在训练AI的时候,究竟在训练什么?AI训练前置知识(一)【AI绘画】过拟合、欠拟合是什么意思?AI训练前置知识(二) | |
二、SD-WebUi本地包
1、一键安装包
安装下载教程
【AI绘画】Stable Diffusion 最终版 无需额外下载安装!可更新✓ 训练✓ 汉化✓
所需配置
推荐配置:拥有Nvidia独立显卡、RTX20系以后的显卡。仅生成图片推荐8G显存(4G是最低保障配置),训练推荐大于12G(越大越好),内存推荐16G及以上。CPU不做太多要求。
下载地址:
01 整合包链接:
https://pan.baidu.com/s/1KlAsvVTEZxrSi2SCQxmqfA?pwd=0307 提取码:0307
02 Dotnet链接
https://pan.baidu.com/s/1VKYj24JWthSZ3XxW82hZJA?pwd=0307 提取码:0307
安装方法:
直接解压01(整合包),并安装02(dotnet),打开启动器,一键启动即用。
2、原版(需要自己部署)
原版开源项目:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
没用过,不BB。有条件的可以根据Github上的官方文档自己部署。
三、模型相关
关于模型的问题汇总
1、模型说明
(1)概述
不同的模型会带来不同的画风、认识不同的概念(人物/物体/动作),这也是模型众多的原因。
(2)模型概况
当前,常见的模型可以分为两大类:大模型;用于微调大模型的小模型。
① 大模型
这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE。civitai标签为checkpoint。
② 小模型
由于想要训练微调(Finetune)大模型十分困难,需要好显卡、算力,所以更多的人选择去炼制小型模型。
这些小型模型通过作用在大模型的不同部分,来简单的修改大模型,从而达到目的。
常见的小型模型又分为以下几种:
Textual inversion (Embedding):嵌入式语言模型,一种微调的语言模型,详细解释:Textual Inversion
Hypernetwork:一种微调 CLIP 和 Unet 权重的方法,由 Novel AI发布。工作方式与 Lora 相同。
LoRA:Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,主要用作大语言模型的微调。
VAE :VAE, Variational autoencoder。变分自编码器,负责将潜空间的数据转换为正常图像。通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的。
(3)种类与使用方法
| 小模型 | 安装目录 | File types/文件类型 | 如何在提示中使用 | 补充说明 |
| Textual Inversion (Embedding) | embeddings | *.pt, images *.pt , 图片 | embedding's filename | |
| Lora | models/Lora | *.pt | <lora:filename:multiplier> | filename 是磁盘上带有 Lora 的文件的名称,不包括扩展名, multiplier 是一个数字,通常从 0 到 1,可以选择 Lora 对输出的影响程度。Lora不能添加到否定提示中。 不能像 [<lora:one:1.0>|<lora:two:1.0>] 那样对提示符进行编辑。具有多个不同提示的批次将仅使用第一个提示中的 Lora |
| Hypernetworks | models/hypernetworks | *.pt, *.ckpt, *.safetensors *.pt 、 *.ckpt 、 *.safetensors | <hypernet:filename:multiplier> | |
| VAE | models/vae | *.pt |
2、模型下载
网站名称 | 链接 | 备注 |
huggingface | https://huggingface.co/models | 模型下载 |
C站 | https://civitai.com/ | C站模型使用说明:How to use models |
3、好用的模型
| 模型名称 | 类型Tepe | 链接 | 备注 |
| ChilloutMix | checkpoint | 亚洲人模型,最新版不需要VAE,推荐的lora和embedding可参见链接的作者文档 | |
| Counterfeit-V2.5 | checkpoint | 动漫风格模型,记得在https://huggingface.co/gsdf/Counterfeit-V2.5/tree/main下载对应的VAE模型 | |
| EasyNegative | Embedding | 配套Counterfeit使用 |
四、SD-WebUI的使用
1、插件推荐
插件下载安装方法参见:【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划
后文的使用方法不再赘述安装过程。
(1)双语对照翻译插件
扩展名 | git地址 | 介绍 | 效果图 |
双语对照翻译插件 sd-webui-bilingual-localization | https://ghproxy.com/https://github.com/journey-ad/sd-webui-bilingual-localization.git |
|
使用方法
1、设置-用户界面中的本地化翻译,需要设置为无/none
2、设置-双语对照翻译中的本地化翻译文件选择为zh_CN
2、模型推荐
hanfu | SD1.5 LoRA | 汉服lora 模型
Inkpunk Diffusion | 大模型 | SD1.5 |
五、Prompt
文档资料汇总(临时)
StableDiffusion官方地址:https://github.com/Stability-AI/stablediffusion
stable-diffusion-webui官方地址:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
midjourney的提示词写法:MidJourney-Styles-and-Keywords-Reference
C站模型说明:How to use models
常用网站汇总(临时)
Hugging Face
https://civitai.com/
最后
以上就是岁月静好最近收集整理的关于AI绘画学习记录(SD-WebUI)的全部内容,更多相关AI绘画学习记录(SD-WebUI)内容请搜索靠谱客的其他文章。
发表评论 取消回复