做了一个 AI 纹身贴生成器

很久没更新了,这次做了一个和导演基本没关系了的项目 demo(。)

通过微调 Stable Diffusion 制作了一个 AI 纹身贴生成器,用户可以根据任意输入的文本,一键设计纹身贴,使用地址见后文。

“船与鸟”

做了一个 AI 纹身贴生成器(图1)

“钟表”

做了一个 AI 纹身贴生成器(图2)

“月亮”

做了一个 AI 纹身贴生成器(图3)

“花朵”

做了一个 AI 纹身贴生成器(图4)

“海豚”

做了一个 AI 纹身贴生成器(图5)

“猫”

做了一个 AI 纹身贴生成器(图6)

开发笔记
Stable Diffusion 是一个很好的通用类大模型,但在生成特定风格的图片时常常不够方便,比如在“纹身”的场合,直接用 SD 生成的纹身大多会同时生成手臂、身体等部位,没有办法一键打印使用;同时也很难精准控制纹身图案的内容。
做了一个 AI 纹身贴生成器(图7)
上图中,左图是直接用 SD 生成的关于月亮的纹身,右图是微调 SD 模型后生成的月亮纹身。所以对于特殊场景的设计需求,调整 SD 模型可能是最优解,毕竟大吟唱术耗时费力还玄学。


测试地址
>> COLABhttps://colab.research.google.com/drive/1sKMIjbO_GZm-AqtoeYKX0b-fE_vhI09t?usp=sharing
>> Huggingface:https://huggingface.co/ringhyacinth/tattoo-alpha-test/tree/main
你可以在 COLAB 上直接生成,或者通过 Huggingface 下载测试模型。欢迎在使用后告诉我你的反馈意见,我们会根据大家的意见进行优化,如果优化成功的话,正式版预计在 11 月月初发布,如果优化失败的话,这个项目就窗了。哈哈哈。 
* 毕竟是在测试阶段的 demo, 当然是禁止商用的。

另外
另外,在 fine-tuned 的过程中,我们也有一些遇到的问题,如果你碰巧知道这个问题的答案也欢迎和我们交流!后台留言告诉我您的微信即可!
1. 不知道为什么 ckpt 转 diffuser 后,模型效果差了很多,我们用的脚本是:
https://github.com/justinpinkney/stable-diffusion/blob/main/scripts/convert_sd_to_diffusers.py
2. 我们用了 Blip 来给数据集做标注,效果不是很好,手动标注数据集量还是太大了,不知道有没有推荐的更好的办法?
3. 如何判断 fine tuned 过程中的最佳训练步数?这点似乎是很感性的经验,期待交流~!


模型训练:周末(微博@星辰是一团旧火)、海辛
数据集:Kelvin Zhu、海辛
powered by Stable Diffusion






收藏

相关文章

人生若只如初见
  • 用户登录