civit에서 직접 LoRA 트레이닝을 한번 돌려봤습니다. 데포르메가 잘 들어가면서 제가 좋아하는 그림을 좀 만들어보고 싶었는데 삐뚤어진 아리스라는 이름으로 자주 올라오는 그림인 나개Nagae작가님의 그림이 제일 적합하다고 느껴서 그림 약 30장 정도로 학습을 시켜봤는데요. (아래와 같은 그림)
선정 사유는 아래와 같습니다.
- 내가 좋아하는 그림 스타일인가
- 데포르메가 강하게 들어가는가
- 독특한 그림 스타일을 가지고 있는가
기본적으로 트레이닝 자체가 크게 어려운부분도 없고, 이미지별로 수동으로 태그작업을 하지않고 전부 Auto Label 으로 처리했습니다.
우선 LoRA는 제가 트레이닝 시킨걸로, 기본 모델은 이전 포스팅에서 다뤘던 NoobAI-XL을 기준으로 돌려봤습니다.
사용한 프롬프트는 기존 카스미 프롬프트에서 트릭컬로 되어있던 태그부분을 새롭게 트레이닝한 프롬프트로 바꿔주기만 했습니다.
(mytestburuaka, chibi:1.4), (blush stickers, blush), blue archive, kasumi (blue archive), 1girl, black hair, red shirt, black pants, yellow eyes, halo, minipants, lab coat, hand radio, open clothes, open coat, simple background, long hair, tail, horn, (masterpiece, best quality, absurdres, highres, newest:1.2), very awa
30장이라는 제가 원래 생각했던 학습에 필요한 자료수에 비해서 적은 수임에도 불구하고 굉장히 잘 나온것같아서 놀랐습니다. 아리스를 만들면 어떤느낌이 될까 궁금해서 한번 아리스를 만들어봤는데..
(mytestburuaka, chibi:1.4), (blush stickers, blush), blue archive, arisu (blue archive), 1girl, black hair, blue eyes, halo, short skirt, open clothes, simple background, long hair, (masterpiece, best quality, absurdres, highres, newest:1.2), very awa
스타일은 뭐 어느정도는 비슷하다고 넘어간다쳐도 아리스가 정상적으로 나오지 않는문제가 생겼습니다. 헤일로 모양은 둘째치고 캐릭터의 원형을 찾아보기 힘든 수준입니다.
LoRA의 문제인지 확인하기 위해서 LoRA를 한번 제거해보고 다시 생성해봤습니다.
네.. 기본 모델자체가 아리스라는 캐릭터의 학습은 따로 되어있지는 않은 것 같습니다. 혹은 학습은 되어있는데 내부 태깅에 arisu라는 형식으로 안되어있는 상태일수도 있구요.
모델에 학습되어있는 다른 캐릭터로 한번 캐릭터를 뽑아봤습니다. 프롬프트 예시는 이전에 트릭컬 DoRA에 예시로 올라와있던 골드쉽에 있는 프롬프트에서 제가 학습한 태그로 바꿔치기만 했습니다.
(mytestburuaka, chibi:1.4), (blush stickers, blush), umamusume, gold ship (umamusume), 1girl, @ @, animal ears, arm strap, armpits, arms up, blue bow, blunt bangs, blush, bow, bowtie, breasts, dress, ear bow, gloves, grey eyes, grey hair, hat, horse ears, horse girl, large breasts, long hair, open mouth, pillbox hat, red bow, red bowtie, red dress, red hat, sleeveless, sleeveless dress, smile, solo, sweatdrop, teardrop, very long hair, white gloves, (masterpiece, best quality, absurdres, highres, newest:1.2), very awa,
두번째 사진은 LoRA가 전혀 적용이 안된상태로 나왔지만 첫번째 결과물은 굉장히 만족할만큼 잘 나왔습니다. 이로써 LoRA 자체는 제가 원하는대로 어느정도 나온다고 생각하고 한번 모델을 바꾸고 아리스를 만들어봤습니다.
새로 찾은 모델은 万象熔炉 - Anyting XL 을 사용했습니다.
스타일은 어느정도 잘 녹아들고 아리스라는 캐릭터도 거의 비슷하게는 나오는것같은데, 파스텔톤이 굉장히 강하게 적용되는게 기본 모델의 영향이 꽤 있는것 같습니다. LoRA를 빼고 여러번 돌려봐도 파스텔톤이 굉장히 강하게 적용되는데, (blush stickers, blush) 부분을 제거하면 파스텔톤은 사라지긴 합니다.
아직까진 각 모델이나 LoRA, 프롬프트끼리 어떤식으로 상호작용 되는지 여러번 생성해보면서 느낌을 잡아봐야 할것같습니다.
현재 이런 일러스트 방식은 실제 게임에 사용하기에는 TCG나 CCG와 같은 카드게임류 장르 이외에는 굉장히 한정적이라고 생각하는데, 다음 포스팅은 실제 게임개발에서 사용할 수 있는 에셋들과 관련된 부분을 한번 테스트해보려고 합니다.