AI绘画学习笔记

AI绘画

1. 3种拓展安装方式

（1）WebUI - 可下载

内置列表查询安装。

所有被制作出来的插件会由WebUI的作者（该WebUI作者是秋葉aaak）登记到一个小本本上（就是图中的URL），点击加载，就会在下方加载出一系列详细的拓展应用清单。

（2）链接安装

这些扩展，在被制作出来以后，作者一般会经由GitHub、Gitee一类的代码仓库将它公开在网上。复制这些代码仓库的地址，并将它输入到第三个标签里的地址栏中，点击安装。

（3）手动copy打包好的文件

SD的所有扩展被统一安装在根目录下这个叫做extension的文件夹里，每一个拓展都是一个单独的文件夹。将打包好的文件copy进来，即可实现安装。

（4）扩展管理

在完成了一次安装以后，点击下方按钮应用更改并重启，即可使用所安装的拓展。

当有些插件不可用时，请点击下方按钮检查更新，更新到最新版本，可解决大部分问题。

取消打勾，即可取消使用该插件。

2. 提示词补全，反推

3. LoRA

（1）概念

视频教学：LoRA从原理到实践

LoRA文件后缀：safetensors

LoRA 的意义并不在于取代 Checkpoint ，相反，它是需要和一个大的 Chekpoint 一起搭配使用的，从而实现对这个 Checkpoint 在某些方面的“微调”。

（2）安装

大模型1GB以上的放在

（3）3种加载LoRA的方式（不推荐）

a. 第一种

b. 第二种

NO PREVTFW：代表模型默认没有缩略图，可以用这个模型跑一张你喜欢的图出来，在你跑完以后，单击打开，然后点击图片NO PREVTFW的替换预览图像，你就可以将它配置为这个模型的缩略图。

（4）additional networks(推荐)

a. 通过扩展插件读取LoRA目录

默认是在extensions文件夹内，这个扩展的文件夹里的Models文件夹里的lora文件夹

D:\Tool\sd-webui-aki-v4.8\sd-webui-aki-v4.8\extensions\sd-webui-additional-networks\models

和WebUI默认的LoRA放置地址不太一样

可以在WebUI设置中，将WebUI默认存放路径 D:\Tool\sd-webui-aki-v4.8\sd-webui-aki-v4.8\models\Lora 复制到这里，并保存设置，刷新WebUI。

（5）LoRA的使用

a. 反推关键词

将人物原有的形象，放入Tagger内反推关键词，反推可以有效识别出角色身上大部分的特征。

待续~

4. ControlNet

（1）类型

（2）存放路径

（3）五种ControlNet模型

a. openpose

动作姿势

b. depth

深度图

c. canny

线稿

Invert(反转) 预处理器

更高级的实现：Lineart

d. soft Endge

柔和边缘

可以简单理解为 canny 的柔和版

e. scribble

涂鸦乱画

比 soft Endge 更加奔放，更能发挥 AI 的创造力

（4）多重ControlNet

5. 通用的反向提示词

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.5), (too many fingers:1.5), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

6. Layer Diffusion(暂时还不兼容WebUI，笔记停更)

（1）作用

它可以在 Stable Diffusion 里生成拥有透明背景，且质量极高的PNG图片。和一些借助主体识别实现“智能抠图”的工具不同，它在生成阶段就直接将透明通道的信息加入了运行。

（2）git安装地址

https://github.com/layerdiffusion/sd-forge-layerdiffuse.git

待续~

7. Tiled Diffusion（高清放大）

秋葉aaak大佬的启动器自带

效果展示：

（1）实战

文生图

生成一个满意的图后，进行高清修复，随机种子保持一致

发送图像到 图生图，并开启 MultiDiffusion 和 Tiled VAE

调整参数

潜空间分块宽度

放大算法

放大倍数

超大分辨率请开启噪声反转，并将重绘幅度调制到0.5

（2）Tiled 升级版

搭配 ControlNet Tile

开启 ControlNet

1K 2K够用了，4K太大，反而出现 扭曲树精，画面怪异等情况

最后1K结果展示：

8. 模型存放位置

（1）1GB以上的大模型

（2）LoRA模型

（3）VAE

（4）ControlNet 模型

9. ControlNet 进阶

（1）艺术字

PPT或PS获得一张文字图

选择模型，填写提示词，调整图片大小

通用提示词

high quality,high resolution,masterpiece,solid background,

通用反向提示词

(worst quality:2),(low quality:2),(normal quality:2),lowers,watermark,monochrome,

启用 ControlNet ,选择 Depth 等更奔放的算法模型，同时开启完美像素模式

获得满意的图片后，再用Tiled Diffusion高清放大（文生图，图生图都可）

最终作品：

（2）AI二维码

SD模型：tmndMix

提示词

masterpiece,best quality,looking at viewer,
1girl,solo,smile,sitting,hat,shoulder cutout,braid,dress,brown hair,(closed eyes:1.1),twin braids,blush,long hair,bench,grin,grass,white dress,jewelry,clothing cutout,bangs,necklace,floral print,blurry,hand between legs,blurry background,between legs,bow,facing viewer,breasts,bare shoulders,sun hat,straw hat,day,collarbone,hair bow,short sleeves,feet out of frame,ribbon,brown headwear,on bench,depth of field,park bench,^_^,hair over shoulder,
day,sky,flower field,petals,

反向提示词

badhandv4,EasyNegative,verybadimagenegative_v1.3,(worst quality:2),(low quality:2),(normal quality:2),

采样算法：Euler a

迭代步数：50

分别率 960

随机种子：3444137032

ControlNet 0

ControlNet 1

最终产品:

（3）LineArt

作用：真人转动漫，动漫转真人，线稿出图。概念出图。

实战一 星穹铁道 托帕

WD 1.4 标签器反推原画关键词

发送到图生图，选择合适的大模型,填写好相关的提示词

调整图片大小 ，采样方法，迭代步数，尺寸，重绘幅度（建议最大0.5）

ControlNet 选择 lineart，勾选完美像素模式，上传独立的控制图像

选择合适的预处理器

最终成品：

原版

成品

成品质量一般，需要搭配其他模型一起使用。

实战二 ROG雪武战姬

模型：

提示词

1girl, breasts, solo, garter straps, thighhighs, looking at viewer, mecha musume, white hair, headgear, blue eyes, short hair, weapon, full body, gloves, skirt, medium breasts, animal ears, cleavage, boots, white thighhighs, black skirt, holding, bangs, copyright name, large breasts

反向提示词

NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(bad proportions:1.331),extra limbs,(disfigured:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.5),(too many fingers:1.5),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extra arms and legs))),

参数调整

ControlNet

原画

最终成品

（4）IP-Adapter

换皮肤, 换色

a. 对 雪武战姬 换色

模型

提示词

1girl,breasts,solo,garter straps,thighhighs,looking at viewer,mecha musume,headgear,blue eyes,short hair,weapon,full body,gloves,skirt,medium breasts,animal ears,cleavage,boots,black skirt,holding,bangs,copyright name,large breasts,galaxy,universe,planet,stars,space,shining,glowing,rich in color,vivid color,depth of field effect,masterpiece,best quality,(delicate eyes and face),moonlight,moon,night,(dark theme:1.3),light,fantasy,wind,magic spark,dark castle,

反向提示词

paintings,sketches,fingers,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),backlight,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(bad proportions:1.331),extra limbs,(disfigured:1.331),(more than 2 nipples:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,(futa:1.1),bad hands,missing fingers,bad-hands-5,EasyNegative,

参数

ControlNet 0 ip-adapter

ControlNet 1 lineart

成品

（5）Inpaint 局部重绘

10. Embedding

11. After Detailer 插件

修复全身，包括脸，手

常见问题及其解决方案

**（1）removeBG

解决 后期处理 无法移除背景，回送蒙版的bug