从零教你在本地部署stable diffusion免费制作精美的绘图（2）

来源：寻美食 发布时间：2023-06-10 01:41

接上文：

5.3 什么是 LoRA 模型以及如何使用它们？

5.3.1 什么是 LoRA 模型？

LoRA 是一种用于优化Stable Diffusion模型的练习技术，它可以利用少量数据练习出一种画风/IP/人物，实现定制化需求，所需的练习资源比练习stable diffusion模型要小许多。它是一个对尺度模型检查点应用微小更改的小型模型。LoRA 模型通常具有 10 – 200M 的容量， 比检查点文件小得多。因此，它们易于下载，可以进一步丰硕您的 AI 图像集。您不能单独使用 LoRA 模型。它们必需与检查点模型文件结合使用。

5.3.2 LoRA 模型的说明

可以调整乘数系数以增加或减少效果。将乘数设置为 0 将封闭 LoRA 模型。您可以在 0 到 1 的范围内调整样式效果。一些LoRA模型是用Dreambooth练习的。您需要包含一个激活关键字才能使用 LoRA 模型。您可以在模型页面上找到激活关键字。您可以一次使用多个 LoRA 模型，还可以将它们与其他嵌入部件一起使用。LoRA 短语不是提示的一部分，应用 LoRA 模型后它将被删除。流行的 LoRA 模型下载库可以在共享库中搜索流行的 LoRA 模型，例如：

c站HuggingFace网站

5.3.3 使用LoRA模型

Lora模型的使用方法有以下几步：

首先，你需要下载一个基础模型，好比ChilloutMix，它是以stable diffusion 1.5版本为基础训练的。你可以从civitai.com或者网盘下载。然后，你需要下载一个或多个角色模型，好比八重神子、雷电将军、韩国娃娃等。你也可以从civitai.com或者网盘下载，或者自己收集图片练习一个新的角色模型。接着，你需要将基础模型放置在stable-diffusion-webui/models/Stable-diffusion目录下，将角色模型放置在stable-diffusion-webui/models/Lora目录下。最后，你需要在stable diffusion webui的主界面加载基础模型，在文生图或图生图界面点击Show extra networks按钮，在弹出的面板中选择Lora选项卡，点击你想要的角色模型名称，它会自动添加到prompt文本框中。然后你可以填写一些其他的描述信息和相应的参数，就可以天生你想要的效果了。假设你已经加载了基础模型ChilloutMix，然后你想天生一个八重神子的图片，你可以这样操纵：在stable diffusion webui的文生图或图生图界面，点击天生按钮下方的粉色图标Show extra networks，它会弹出一个面板。在面板中选择Lora选项卡，你可以看到你已经安装的Lora模型，好比八重神子、雷电将军等。点击八重神子的模型名称，它会自动将lora:yaeMikoRealistic_yaemikoFull:1这个关键词添加到prompt文本框中。这个关键词表示你想要使用八重神子的Lora模型，1表示Lora模型的强度，你可以根据需要调整。在prompt文本框中，你还可以填写一些其他的描述信息，好比画风、姿势、服装等。好比你可以写：best quality, full body, 1girl, smiling, wearing shrine maiden outfit, holding a bell, standing in a cherry blossom garden。然后你可以设置一些参数，好比图片大小、采样器、步数等。好比你可以设置：Size: 512x512, Sampler: DPM++ SDE Karras, Steps: 20。最后点击天生按钮，就可以看到天生的图片了。

lora的配置图片：可以看到详细的语法是用 <>括起来的

5.4 embedding

5.4.1 什么是embedding及其作用

embedding又称为文本反转，它可以定义新的关键词来控制stable diffusion天生的图像的风格或内容。它的原理是在不修改模型的情况下，找到一个能够最好地表示新风格或对象的embedding向量，并将其与输入的文本或标签一起传递给模型。embedding可以用于天生新的对象或风格，好比玩具猫、水墨画等。它也可以用于转换已有的对象或风格，好比将人物变成卡通形象、将风景变成油画等。embedding可以与其他已有的关键词结合使用，实现更丰硕的语义编纂。

用大白话来说，它可以让我们自定义关键字从而来代替一大推的咒语提示词，假如我这里有20行提示词用来描述水墨画风格的雪山，那么我不需要每次天生图片都要用许多提示词代替来天生，而是提前通过大量的图片来练习它形成几十k的片断，使用的时直接引入即可。

好比你可以定义一个关键词叫做toy_cat，表示玩具猫，然后在prompt文本框中输入“一只<toy_cat>在沙发上睡觉”，它就可以天生一张玩具猫的图片。embedding可以让你增加更多的选择和创意，让你天生更符合你想象的图片。

使用embedding和不使用embedding的差别就是，不使用embedding时，你只能用stable diffusion已经知道的关键词来天生图片，而使用embedding时，你可以用自己定义的关键词来天生图片。使用embedding和不使用embedding的作用就是，不使用embedding时，你可以天生一些普通或者常见的图片，而使用embedding时，你可以天生一些特殊或者个性化的图片。

5.4.2 使用

c站中有不少这种模型，打开c站可以按如下图操纵去选择embedding，如下图所示

接下来选择一个来下载

下载后是一个 .pt 文件 AS-Young-neg.pt 我们将此文件放到

D:2023ai esourcestable-diffusion-webuiembeddings

夹下

重启webui-user.bat 刷新界面：

可点击右侧红色图标->弹出tab页标签->Textual Inversion就是刚刚下载的embedding

，点一下即可，假如点击按钮无反应，则在webui-user.bat文件中添加参数

--no-gradio-queue

放入提示词：

天生效果

5.4.3 和LoRA的区别

embedding和lora都是一种用于练习stable diffusion模型的方法，它们的目的是让模型能够识别并天生一些新的风格或对象，好比玩具猫、水墨画等。它们的区别主要有以下几点：

embedding是一种文本逆转的方法，它通过找到一个能够最好地表示新风格或对象的embedding向量，来作为模型的输入。embedding不会修改模型本身，只会修改输入的文本向量。embedding练习出来的结果是一个很小的文件，只包含新关键词和对应的向量。lora是一种低阶适应的方法，它通过在模型中插入一些新的数据处理层，来改变模型的输出。lora会修改模型本身，但不会修改原有的参数，只会增加一些新的参数。lora练习出来的结果是一个相对较大的文件，包含新插入的层和对应的参数。embedding合用于转换图像风格或添加一些简朴的对象，好比玩具猫、卡通猫等。embedding可以与其他已有的关键词结合使用，实现更丰硕的语义编纂。embedding练习速度快，对计算资源要求低。lora合用于添加一些复杂或细节丰硕的对象或风格，好比人脸、宠物、物件等。lora可以与其他lora模型叠加使用，实现更多样化的图像天生。lora练习速度慢，对计算资源要求高。

6 AI制图的贸易案例及感悟

写完文章，我总结了

AI

绘图很多贸易应用：

广告设计：AI绘图可以根据广告主的要求和目标，自动天生吸引人的广告图像，节省时间和本钱，提高效率和转化率。游戏开发：AI绘图可以根据游戏的风格和场景，自动天生逼真的游戏角色、物品和背景，增强游戏的丰富性和沉醉感。教育培训：AI绘图可以根据教学内容和学习者的需求，自动天生适合的教授教养图像，进步教学质量和学习效果。艺术创作：AI绘图可以根据艺术家的灵感和风格，自动天生独特的艺术作品，拓展艺术表达和立异。头像制作。主题制作。室内设计图。

AI

绘图给我带来了许多感悟：

AI绘图是人工智能技术与人类创造力的结合，它不仅可以模仿人类的绘画技巧，还可以创造出超越人类想象的图像，展示了人工智能技术的无穷可能性。AI绘图是一种新型的艺术形式，它不是取代人类的艺术家，而是与人类的艺术家合作，共同创造出更多样化和多元化的艺术作品，丰硕了人类的文化和审美。AI绘图是一种新型的教育工具，它不是替换人类的教师，而是辅助人类的教师，提供更多的教学资源和方法，促进了人类的学习和发展。

7 总结

今天的操纵先先容到这里，详细的细节过程基本都写清晰了，后面继承增补其他组件、模型、插件等。如有不清晰可随时评论或发私信给我，谢谢大家观看！

最后做个全篇知识点的总结：在Stable Diffusion中， 模型检查点和 LoRA 在解决与练习模型相关的问题方面施展着至关重要的作用，模型检查点有助于通过大数据模型塑造 AI 图像的样式。同时， LoRA 答应用户以更轻的容量轻松进行微调。了解如何组合这两种类型的模型将为您提供最具创意、最真实和生动的 AI 图像。AI绘图是一种有价值和有意义的技术，它可以为贸易、教育、艺术等领域带来巨大的便利和价值，也可以为人类带来更多的乐趣和启发。我相信，在未来，AI绘图会有更多的应用和发展，让我们共同期待吧！