qinfengge

qinfengge

醉后不知天在水,满船清梦压星河
github

如何用AI画二次元以及三次元的老婆

在家过年很爽,但是上班就不爽了,没办法,要恰饭的嘛。所以,我给枯燥的上班生活找了个调剂,那就是用 AI 画小姐姐。

年前我也试用了下 OpenAI 的 ChatGPT3,简直惊为天人,我没有想到 AI 已经发展到这个程度了,几乎可以说是一个低配版的电影中的智能 AI,缺点就是不能联网。不过现在有了 new bing,它可以联网。

十年,二十年前,我们喊互联网 +,用互联网给各行各业赋能,而现在,我们很有可能是 AI+,用 AI 来赋能甚至代替某些行业。


本地运行#

如果你的显卡早于 NVIDIA 的 GTX10 系,或者你的显卡是 AMD,非常抱歉,你需要自己找其他教程进行安装,或者使用下面的在线运行进行测试

安装包来源于 B 站 UP 主秋葉 aaaki发布的视频【AI 绘画】启动器正式发布!一键启动 / 修复 / 更新 / 模型下载管理全支持!,你也可以在此 UP 主的专栏查看安装包的常用问题和进阶操作。

安装方法请查看上面的视频,安装完成后请设置启动器的配置

image-20230215094939418

选择对应的显卡以及显存,显存不足可能会出黑图或无法出图

  • xattn 优化方案建议强制使用 xFormers,以缩短出图速度

  • 不使用半精度VAE(no-half-vae)建议勾选,防止使用 Lora 模型无法出图

  • 关闭数值溢出检查(disable-nan-check),建议勾选

  • 跳过内部组件同步(快速启动流程),自选项,如果你觉的启动时太慢,可以关掉启动检查,但是关闭此选项后请不要安装来源不明的模型和扩展

点击一键启动后等待启动进程,直到出现下图,并且已经打开了浏览器界面才能继续进行操作

此进程需要大概 5 分钟左右,请耐心等待

image-20230215100639378

启动后stable-diffusion-webui默认是中文语言,默认是 final-prune.ckpt 模型,此模型可用来生成二次元图像

image-20230215100842827

你可以在Danbooru 标签超市中选择你想要的标签,然后把正向 tag,和反向 tag 输入点击生成即可查看效果。

00189-1066675082-(ahri_1.05), neon lights, v, blue hair, ahoge, hair bow, looking at viewer, 1girl, fox ears, sailor collar, school uniform, blus

正向 tag 为 : (ahri_1.05), neon lights, v, blue hair, ahoge, hair bow, looking at viewer, 1girl, fox ears, sailor collar, school uniform, blus

你也可以使用其他的模型,比如 Anything 来生成其他风格的二次元图像,只需要在启动器中的模型管理中下载对应的模型即可。

生成三次元#

image-20230215101950407

需要依赖,请安装下面的依赖再使用魔法咒语

best quality, ultra high res, (photorealistic:1.4), 1girl, brown blazer, black skirt, glasses, thighhighs, ((school uniform)), (upper body), (Kpop idol), (aegyo sal:1), (platinum blonde hair:1), ((puffy eyes)), looking at viewer, facing front, smiling, laughing,, masterpiece, best quality,
Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glan, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 28, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2861044465, Size: 576x960, Model hash: 2051a5b4f0, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: koreanDollLikeness_v10(e2e472c06607), AddNet Weight A 1: 1, AddNet Weight B 1: 1, Hires upscale: 2, Hires steps: 8, Hires upscaler: Latent

如果你想用 AI 生成类真人的三次元老婆,你需要使用其他的模型和扩展

你可以查看这个视频【AI 绘画】全新的微调模型!LoRA 模型使用教程 插件安装 NovelAI 来安装扩展

至于 Lora,我的理解是强化特征训练,使用一组图片生成模型用于强化某个或某几个源文件的特征,通俗点讲就是,如果我用 1 组布偶猫的图片训练,然后使用训练后的 Lora 模型,输入关键字 cat,增加模型的权重,那么大概率 AI 会画一只布偶猫,至于如何训练,请查看这个视频【AI 绘画】最佳人物模型训练!保姆式 LoRA 模型训练教程 一键包发布

下载模型#

为了画出类似真人的效果,我们需要下载一个新的模型,你可以直接在启动器的模型管理页面进行下载,模型名叫Chilloutmix ,你同样可以在官方的页面下载。

如果你是在官方下载,请将下载的模型放入启动器文件夹下的

sd-webui启动器\models\Stable-diffusion

这个文件夹存放的都是模型

下载 Lora 模型#

上面的模型已经可以帮助你生成真人风格的图像,但还需要一些个性化的定制

推荐下面两个 Lora 模型

  1. Korean Doll Likeness

这是一款个个大佬都在使用的模型,拥有精致的脸庞,足以以假乱真,上方的示例图就使用这个模型

  1. 国风汉服少女仿明风格 lora 模型

这是 B 站 UP 主做的模型,可以在生成的人物身上加上明制汉服

00062-3861868837-solo, full bdoy illustration of a Chinese girl,(duijin_1.1),skirt,girlface,gorgeous,pure,beautyfull detailed face and eyes,large

下载完 Lora 模型之后,需要将其放到启动器下的目录

sd-webui启动器\extensions\sd-webui-additional-networks\models\lora

当都配置好之后,需要修改设置页面的模型的 VAE (SD VAE)

你也可以使用其他的 VAE 文件来优化作品的光照,细节,比如vae-ft-mse-840000-ema-pruned.safetensors

下载的 VAE 文件存放路径为

sd-webui启动器\models\VAE

image-20230215104715452

请注意一定要保存设置,如果您未设置 VAE 或未保存,则您生成的图像很有可能会偏灰。

重启之后,一切顺利的话,您将在 web 界面看到多出来的

image-20230215105259972

勾选启用,然后在 model 中选择对应的 Lora 模型,如果未找到模型,请点击下面的 Refresh models,如果还未找到,请检查是否 Lora 模型放错了位置。

然后 enjoy😊

在线运行#

如果你因为某些原因不能在线运行,那么你也可以使用在线的方式来试用

请注意,大多数支持免费的在线平台都有较为严格的资源分配策略,因此他们仅能作为试用,我也不推荐长时间占用免费的在线平台

安装包来源为[分享] sd-webui Colab 谷歌网盘安装版。集成各种优化colab 笔记地址

需要注意,使用 Google colab 的免费版,您可能会被随时暂停,或者因滥用被 BAN

安装步骤上面已经很详细了,需要注意的是,因为文件都放在了 Google drive,因此您的网盘空间至少需要 12G 以上才能放的下模型。

默认的启动界面是英文,你可以在此处下载中文的语言包 zh_CN.json,然后放入下面的文件夹

image-20230215110853891

然后在 web 界面中的设置下的 User Interface 最后选择语言为 zh_CN,保存设置并重启即可。

默认安装及默认启动的模型都是二次元风格的,如果想生成三次元风格的图像,请查看上方的本地运行,然后下载对应的模型放到网盘中对应的目录即可。

其他方式#

你也可以使用下面的其他在线平台

[AI 画图] 在 Paperspace 云计算平台使用 Stable Diffusion web UI (自动脚本部署)

众神之谷 - 魔法小镇


最后,感谢那些充分发挥互联网精神,以及无私奉献的大佬们。

image-20230215111602656

【AI 绘画】启动器正式发布!一键启动 / 修复 / 更新 / 模型下载管理全支持!

【AI 绘画】全新的微调模型!LoRA 模型使用教程 插件安装 NovelAI

【AI 绘画】最佳人物模型训练!保姆式 LoRA 模型训练教程 一键包发布

[分享] sd-webui Colab 谷歌网盘安装版。集成各种优化colab 笔记地址

stable-diffusion-webui

vae-ft-mse-840000-ema-pruned.safetensors

[AI 画图] 在 Paperspace 云计算平台使用 Stable Diffusion web UI (自动脚本部署)

Chilloutmix

Korean Doll Likeness

国风汉服少女仿明风格 lora 模型

Danbooru 标签超市

Civitai 模型站

众神之谷 - 魔法小镇

引用的排名不分先后,再次感谢上面的大佬做出的贡献

Loading...
Ownership of this post data is guaranteed by blockchain and smart contracts to the creator alone.