Stable Diffusion Models - 엘든링, 아케인, 스파이더맨 등등

Stable Diffusion 모델이 공개되고 학습된 모델이 1.4 버전 나올때 만 해도... 이것만 가지고도 할 게 많다 싶었는데..

특정 도메인 이미지(TV 애니메이션, 게임 등등)를 가지고 다시 학습한 모델들이 다수 등장하고 있음.

 

특히, 아래 링크에서는 다음과 같은 모델들을 제공함.

 

https://huggingface.co/nitrosocke

nitrosocke (Nitrosocke)

 

HuggingFace API를 쓰면 손 쉽게 사용할 수 있음.

 

---

 

Arcane Diffusion 학습 시킬때 사용한 데이터 셋도 공개했는데..

75개의 이미지만으로 학습시켰다고 함.

 

학습에 사용된 셋팅은 아래와 같고..

instance prompt: illustration arcane style
learning rate: 5e-6
lr scheduler: constant
num class images: 1000
max train steps: 5000

어?

근데 이건 전체를 학습시킨게 아니라 일부만 기존 latent space에 추가한 정도인데?

 

그러네.. 사용법을 보면... 프롬프트에 "arcane style" 이란 말이 있잖음?

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Arcane-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "arcane style, a magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

 

그냥 원래 있던 학습모델에 "arcane style" 이란 prompt에 대한 latent space를 추가한 것이 맞음.

 

그런데, 이걸 굳이 기존 모델에 박을 필요 없는데... stable diffusion은 기존 학습된 모델에 textual inversion 추가하는 것을 지원하기 때문에 따로 떼어도 무방한디..

--> 혹시 HuggingFace API 로 wrapping 한 것일까? (나중에 확인해 보자)

 

---

 

 

이미 에니메이션 현업 덕후들은 학습도 직접 돌려보고 씹고 뜯고 맛보고 즐기는 중..

역시 즐기는 자를 이기기는 어렵다능..

 

https://arca.live/b/aiart?p=1 

AI그림 채널