购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.4 Stable Diffusion的模型类型

Stable Diffusion的模型类型有很多,根据训练方法和大小的差异,可以简单划分为主模型和用于微调主模型的扩展模型两大类。不同模型擅长的画风和应用领域也不同。下面介绍几个比较常见的模型。

1.4.1 Checkpoint模型

Checkpoint模型是支持Stable Diffusion绘图的基础模型,也称为大模型、底模型或主模型。

● 大小: Checkpoint模型包含生成图像所需的所有内容,体积很大,通常为2~7GB。

● 常见文件模式: 尾缀ckpt、safetensors。

● 存放路径: Stable-diffusion-webui\models\Stable-diffusion。

● 切换界面: 如图1.4-1所示。

图1.4-1

目前比较常见的Checkpoint模型有Anything系列、Majicmix Realistic、Realistic Vision、国风系列等。这些Checkpoint模型可以生成特定风格的图像。不同的大模型生成的效果分别如图1.4-2~图1.4-5所示。

图1.4-2

图1.4-3

图1.4-4

图1.4-5

1.4.2 LoRA模型

LoRA(Low-Rank Adaptation Models,低秩适应模型)可以固定某一类型的人物或者事物的风格。LoRA模型的体积小、训练难度低、控图效果好,在动漫角色还原、画风渲染、场景设计等方面都有广泛应用。

● 大小: 通常为10~200MB,需要和Checkpoint模型搭配使用。

● 常见文件模式: 尾缀ckpt、safetensors、pt。

● 存放路径: Stable-diffusion-webui\models\Lora。

● 切换界面: 如图1.4-6和图1.4-7所示。

图1.4-6

图1.4-7

目前比较常见的LoRA模型有MoXin(墨心)、blindbox、Miniature world style(微缩世界风格)等。用户可以根据这些LoRA模型的风格搭配大模型一起使用。不同的LoRA模型生成的效果分别如图1.4-8~图1.4-10所示。

图1.4-8

图1.4-9

图1.4-10

1.4.3 VAE模型

VAE模型可以对画面起到滤镜和微调的作用。

小贴士

有的大模型会自带VAE效果,如Chilloutmix。这种情况下,如果再额外添加VAE模型,可能会适得其反,导致画面效果不好。

● 大小: 约300MB。

● 常见文件模式: 尾缀ckpt、pt。

● 存放路径: Stable-diffusion-webui\models\VAE。

● 切换界面: 如图1.4-11所示。

图1.4-11 h0DM4X+Jjme5GGNFwLajGfV4ANMsjP0GxtZ1Pfj2u8n+AaiUNJczazWewHPHp7Qd

读书笔记
点击中间区域
呼出菜单
上一章
目录
下一章
×