我是靠谱客的博主 岁月静好,这篇文章主要介绍AI绘画学习记录(SD-WebUI),现在分享给大家,希望可以做个参考。

本篇为SD-WebUI的学习笔记,后文的AI绘画均指代基于SD-WebUI的绘画

  • 所用到的软件来源于秋叶aaaki SD-webui一键包。

  • 原版开源项目:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

  • 毕竟是学习记录,所以并非是系统性全功能文档。有模糊、遗漏或者未解释清楚的部分,可以参考官方的wiki或者其他系统性教程(参考资料推荐)

一、资料推荐

1、值得关注的UP及网站


名称分类简介
秋叶aaakiB站UPSD-webui一键包,AI绘画
大江户战士B站UPAI绘画/动画,模型训练
Hugging Face网站模型下载
https://civitai.com/网站模型下载 绘画实例
Stable Diffusion web UI项目Stable Diffusion web UI官方
Stability-AI/stablediffusion项目Stable Diffusion官方

2、从0开始的炼丹生活(相关教程)

准备工作初步了解【AI绘画】从零开始的AI绘画入门教程——魔法导论
安装程序【AI绘画】Stable Diffusion 最终版 无需额外下载安装!可更新✓ 训练✓ 汉化✓
选择模型【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论扩展文档:How to use models
调试参数基础参数配置 - AiDraw【AI绘画/科普】AI训练中的黑话都是什么意思?AI又是如何训练出来的?如何调节参数?prompt提示词扩展文档:文字转图片 | AiDraw
插件管理【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划
入门基础文生图(t2i/text to image)【AI绘画】一张图看懂新手入门文生图如何使用
图生图(i2i/image to image)放大图片【AI绘画】老婆2秒一键变高清!图片放大教程 AI重画拯救超低分辨率图片
ControlNet控制网络【AI绘画】controlnet安装/使用教程 动作控制 景深 线稿上色【AI绘画】人设自由!人设三视图一键生成 ControlNet实战教程 Stable Diffusion【AI绘画】完美控制画面!告别抽卡时代 人物动作控制/景深/线稿上色 Controlnet安装使用教程
模型训练Embedding (Textual inversion)【AI绘画】保姆式教程!Embedding 训练教程 让你的AI学会其他画师的画风与人物LoRA【AI绘画】最佳人物模型训练!保姆式LoRA模型训练教程 【AI绘画】LoRA 模型训练 参数相关问答Dreambooth / Native Train (finetune)【AI绘画】定制属于你的大模型!保姆式Dreambooth训练教程 autodl在线训练 NovelAI【AI绘画】Dreambooth训练,上传转换自己的模型
其他【AI绘画】大魔导书:AI 是如何绘画的?Stable Diffusion 原理全解(一)【AI绘画】当我们在训练AI的时候,究竟在训练什么?AI训练前置知识(一)【AI绘画】过拟合、欠拟合是什么意思?AI训练前置知识(二)

二、SD-WebUi本地包

1、一键安装包

安装下载教程

【AI绘画】Stable Diffusion 最终版 无需额外下载安装!可更新✓ 训练✓  汉化✓

所需配置

推荐配置:拥有Nvidia独立显卡、RTX20系以后的显卡。仅生成图片推荐8G显存(4G是最低保障配置),训练推荐大于12G(越大越好),内存推荐16G及以上。CPU不做太多要求。

下载地址:

01 整合包链接:

https://pan.baidu.com/s/1KlAsvVTEZxrSi2SCQxmqfA?pwd=0307  提取码:0307

02 Dotnet链接

https://pan.baidu.com/s/1VKYj24JWthSZ3XxW82hZJA?pwd=0307 提取码:0307

安装方法:

直接解压01(整合包),并安装02(dotnet),打开启动器,一键启动即用。

2、原版(需要自己部署)

原版开源项目:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

没用过,不BB。有条件的可以根据Github上的官方文档自己部署。

三、模型相关

关于模型的问题汇总

1、模型说明

(1)概述

不同的模型会带来不同的画风、认识不同的概念(人物/物体/动作),这也是模型众多的原因。

(2)模型概况

当前,常见的模型可以分为两大类:大模型;用于微调大模型的小模型

① 大模型

这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE。civitai标签为checkpoint。

② 小模型

由于想要训练微调(Finetune)大模型十分困难,需要好显卡、算力,所以更多的人选择去炼制小型模型。

这些小型模型通过作用在大模型的不同部分,来简单的修改大模型,从而达到目的。

常见的小型模型又分为以下几种:

Textual inversion (Embedding):嵌入式语言模型,一种微调的语言模型,详细解释:Textual Inversion

Hypernetwork:一种微调 CLIP 和 Unet 权重的方法,由 Novel AI发布。工作方式与 Lora 相同

LoRA:Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,主要用作大语言模型的微调。

VAE :VAE,  Variational autoencoder。变分自编码器,负责将潜空间的数据转换为正常图像。通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的。

(3)种类与使用方法

 

小模型安装目录File types/文件类型如何在提示中使用补充说明
Textual Inversion
(Embedding)
embeddings*.pt, images  *.pt , 图片embedding's filename
Loramodels/Lora*.pt<lora:filename:multiplier>filename 是磁盘上带有 Lora 的文件的名称,不包括扩展名, multiplier 是一个数字,通常从 0 到 1,可以选择 Lora 对输出的影响程度。Lora不能添加到否定提示中。
不能像 [<lora:one:1.0>|<lora:two:1.0>] 那样对提示符进行编辑。具有多个不同提示的批次将仅使用第一个提示中的 Lora
Hypernetworksmodels/hypernetworks*.pt, *.ckpt, *.safetensors
*.pt 、 *.ckpt 、 *.safetensors
<hypernet:filename:multiplier>
VAEmodels/vae*.pt

2、模型下载

网站名称

链接

备注

huggingface

https://huggingface.co/models

模型下载

C站

https://civitai.com/

C站模型使用说明:How to use models

3、好用的模型

  

模型名称类型Tepe链接备注
ChilloutMixcheckpointhttps://civitai.com/models/6424/chilloutmix亚洲人模型,最新版不需要VAE,推荐的lora和embedding可参见链接的作者文档
Counterfeit-V2.5checkpointhttps://civitai.com/models/4468/counterfeit-v25动漫风格模型,记得在https://huggingface.co/gsdf/Counterfeit-V2.5/tree/main下载对应的VAE模型
EasyNegativeEmbeddinghttps://huggingface.co/datasets/gsdf/EasyNegative配套Counterfeit使用

四、SD-WebUI的使用

1、插件推荐

插件下载安装方法参见:【AI绘画】插件安装/更新/设置/卸载教程:基础教程补完计划

后文的使用方法不再赘述安装过程。

(1)双语对照翻译插件

扩展名

git地址

介绍

效果图

双语对照翻译插件

sd-webui-bilingual-localization

https://ghproxy.com/https://github.com/journey-ad/sd-webui-bilingual-localization.git

  • UI界面双语对照翻译。目前外网教程偏多,双语版适合对参数。

  • 上下布局后,字体会明显缩小,按需使用

使用方法

1、设置-用户界面中的本地化翻译,需要设置为无/none

2、设置-双语对照翻译中的本地化翻译文件选择为zh_CN

2、模型推荐

hanfu | SD1.5 LoRA | 汉服lora 模型

Inkpunk Diffusion | 大模型 | SD1.5 | 

五、Prompt

文档资料汇总(临时)

StableDiffusion官方地址:https://github.com/Stability-AI/stablediffusion

stable-diffusion-webui官方地址:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

midjourney的提示词写法:MidJourney-Styles-and-Keywords-Reference

C站模型说明:How to use models

常用网站汇总(临时)

Hugging Face

https://civitai.com/


最后

以上就是岁月静好最近收集整理的关于AI绘画学习记录(SD-WebUI)的全部内容,更多相关AI绘画学习记录(SD-WebUI)内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(22)

评论列表共有 0 条评论

立即
投稿
返回
顶部