Stable Diffusion魔法入门

2023-07-11,,

写在前面

本文为资料整合,没有原创内容,方便自己查找和学习,

花费了一晚上把sd安装好,又花了大半天了解sd周边的知识,终于体会到为啥这些生成式AI被称为魔法了,魔法使用前要吟唱类比到AI上不就是那些关键词参数什么的吗,描述的越具体生成的东西越具体.可以想象现在还需要手动输入词语的魔法,结合语音识别即可实现真吟唱效果,再结合脑机接口达成无需吟唱的效果...所思即所得,那时候才真正拼才华和想象力.

对普通人来说,AI几乎就是魔法.未来可期!

安装(签订契约)

Home · AUTOMATIC1111/stable-diffusion-webui Wiki --- 首页 ·AUTOMATIC1111/stable-diffusion-webui Wiki (github.com) ==官方文档最为准确
本地部署 stable-diffusion-webui 并替换模型为 waifu-diffusion - 掘金 (juejin.cn)
AbdBarho/stable-diffusion-webui-docker: Easy Docker setup for Stable Diffusion with user-friendly UI (github.com) docker部署,也挺方便
lllyasviel/ControlNet: Let us control diffusion models (github.com)
Mikubill/sd-webui-controlnet: WebUI extension for ControlNet (github.com)
VinsonLaro/stable-diffusion-webui-chinese: stable-diffusion-webui 的汉化版本 (github.com) 汉化包

模型安装(符文)

自带模型models/Stable-diffusion

下载好模型后将文件将t文件放入models\stable-diffusion文件夹即可

扩展安装(天赋树)

扩展都存在于目录内自己的子目录中。您可以使用 git 安装这样的扩展: extensions

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients extensions/aesthetic-gradients

给模型添加预览图(印象)

新版webUI自带模型预览图功能,默认本地所有模型上都显示 no preview 即没有预览图,我们可以生成完图片后 再次找到添加模型的位置,鼠标移动模型卡标题处,上方会出现replace preview(替换预览)红色字样 点击即可将刚刚生成的图设置为此模型的预览图

如果想把任意一张图片设置为模型的预览图,可以将图片拖拽到img2img中 然后进行替换.

模型资源(道具商店)

Civitai | Stable Diffusion models, embeddings, hypernetworks and more
https://huggingface.co/
原神 | SD - WebUI 资源站 (123114514.xyz) 模型太多了,很国内味
ChilloutMix | Stable Diffusion Checkpoint | Civitai
Realistic Vision V1.3 | Stable Diffusion Checkpoint | Civitai 写实风格
lllyasviel/ControlNet at main (huggingface.co)
webui/ControlNet-modules-safetensors at main (huggingface.co)
Korean Doll Likeness | Stable Diffusion LORA | Civitai
LoRA 指南 - 知乎 (zhihu.com) ==LoRA: Low-Rank Adaptation of Large Language Models

性能(体质)

测试4GB的卡可以生成384x384的图片,512的大概需要6G左右, 1024的则需要8G+,推理速度慢,根据显卡和图片大小不同,大概需要20-60s

调参(吟唱)

调参教程(魔导书)

Disco Diffusion (notion.site) 建议细读, 非原创聚合型文档,偏速查工具属性
Discover and generate AI Art | OpenArt ==语句和参数的参考分享
咒语生成器 | 无界AI (wujieai.com) ==中英文可选,666

样例

<lora:koreanDollLikeness_v10:0.66>, **cat ears**,best quality, ultra high res, (photorealistic:1.4), 1woman, sleeveless white button shirt, black skirt, black choker, cute, (Kpop idol), (aegyo sal:1), (platinum blonde hair:1), ((puffy eyes)), looking at viewer, full body, facing front

SD 关键词参考

https://arthub.ai/
https://lexica.art/
https://www.krea.ai/?continueFlag=6591d07b3186f4c7e58de1a4bcfaefb0
https://promptomania.com/stable-diffusion-prompt-builder/

实践与参考(前辈们的故事)

模型应用---使用Stable Diffusion UI手册 - 知乎 (zhihu.com) UI上参数的翻译以及解释
AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin: A user-friendly plug-in that makes it easy to generate stable diffusion images inside Photoshop using Automatic1111-sd-webui as a backend. (github.com)
PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用 - 知乎 (zhihu.com) ==集成到ps中作为插件
hua1995116/awesome-ai-painting: AI绘画资料合集(包含国内外可使用平台、使用教程、参数教程、部署教程、业界新闻等等) stable diffusion tutorial、disco diffusion tutorial、 AI Platform (github.com) ==可以的
awesome-stable-diffusion/awesome-stable-diffusion: Curated list of awesome resources for the Stable Diffusion AI Model. (github.com)
Stability-AI/stablediffusion: High-Resolution Image Synthesis with Latent Diffusion Models (github.com) sd2版本
cmdr2/stable-diffusion-ui: Easiest 1-click way to install and use Stable Diffusion on your own computer. Provides a browser UI for generating images from text prompts and images. Just enter your text prompt, and see the generated image. (github.com) 桌面端UI
gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com)
摄影师危!AI绘画即将降维打击摄影行业 - 知乎 (zhihu.com)
ControlNet正在补完AIGC工业化的最后一块拼图 - 知乎 (zhihu.com)
(15条消息) 【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论_栗少的博客-CSDN博客 ==挺好,有对名词做解释,概念入门
https://note.youdao.com/ynoteshare/index.html?id=83ec1a4d9c7dc00191133c384df587b8&type=note&_time=1650330649515 ==教程-使用-思路-扩展,但依赖谷歌
Stable Diffusion 完美复制Korean doll likeness!(详细版,持续更新中!) - 知乎 (zhihu.com)
如何使用stable diffusion批量为“虚拟女友”换衣服 - 知乎 (zhihu.com)
AI技术“造人”:如何使用stable diffusion为你批量打造美丽的“虚拟女友” - 知乎 (zhihu.com)
StableDiffusion模型资源探索食用指南 - 知乎 (zhihu.com) ==质量很高,总结的很好

在线体验(麻瓜)

Stable Diffusion 2-1 - a Hugging Face Space by stabilityai sd2版本的试用环境
andreasjansson/stable-diffusion-animation – Run with an API on Replicate ==可以输出动画和gif,挺有趣
无界AI-人人都是艺术家 (wujieai.com) ==国内的,已注册手机号

岗位要求(初级魔法师)

AI插图绘制师
岗位职责:
1. 设计多种绘画风格,实现AI风格迁移;
2. 高效熟练的使用AI(如Disco Diffusion、Stable Diffusion等工具)生产不同风格要求的人像与动画;
3. 跟踪前沿算法,熟悉AI绘画领域技术进展; 岗位要求:
1.深度研究AI绘画软件,熟悉Stable Diffusion开源技术的使用;
2.熟练使用Python语言,及OpenCV、waifu2x等工具;
3.熟悉基于AI的人像生成与风格迁移,有项目落地经验;
4.了解前沿图像生成算法&产品(如 Disco Diffusion,Stable Diffusion,Dalle2,MidJourney,Tiamat, Lensa);
5. 具备修图与分层的能力;
6. 绘画基础扎实,准备把握场景设定及透视的结构比例,造型能力强,色彩感强;
7. 具备1年以上动画/游戏美术经验

Stable Diffusion魔法入门的相关教程结束。

《Stable Diffusion魔法入门.doc》

下载本文的Word格式文档,以方便收藏与打印。