Wookang makes AI

아래의 이미지를 영상으로 바꿔보고 싶었다. 1. svd로 여러 설정을 바꿔가며 영상을 만들어봤지만 하나같이 움직임이 없었다.2. 단순히 확대만 하거나 왼쪽에서 오른쪽으로만 움직였다. 이미지는 그대로였다.3. 아무래도 낯선 괴물이다보니 fragment로 쪼개지를 못하는 거 같았다. 그런데 파도도 움직이지 못하는건 좀 서운했다. 혹시나 해서 런웨이(https://app.runwayml.com/video-tools/teams/virlitinc/dashboard)로 영상을 만들어봤다. 그래서 나온게 아래 영상이다.이 역동성이 대단하지 않은가?영상 생성분야는 각 fragment를 인식하고 그 요소가 어떻게 움직이는지 학습이 되어 있어야 위와 같은 움직임을 만들어낼수 있다. svd에 촉수를 가진 바다괴물의 움직임이..

* 동기forge가 뭔지도 몰랐는데  아래 영상 덕분에 알게 되었다. 말그대로 webUI의 강화버전으로 보였다.특히 SVD를 webUI에서 사용할 수 있다는 것이 마음에 들었다.  * 설치하기- 나처럼 개발좀 안다고 기존 webUI에 git branch를 바꿔서 설치하지 마라. 그 동안 내가 커스터 마이징해왔던 파일들 때문에 merge가 곤란해진다. 설령 백업후 discard한다해도 requirements 라이브러리가 달라 계속 꼬인다. 그냥 새로 설치하자. 1. webUI 설치와 동일하게 하면 된다.git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git sd-forgecd sd-forge실행하기 전에 기존 webUI의 모듈을 가..

* 동기이미지를 움직여보고 싶었다. 최근 유튜브 준비를 하고 있는데 내가 뭐 멋진 영상을 찍고 끝내주는 편집을 하고 그러지 못하기에 sd로 뽑은 멋진 이미지들을 움직여 조금이라도 영상에 적합한 소스를 만들어보고 싶었다. Runway가 가장 유명해서 사용해봤는데 확실히 쉽고 빨랐다. (아래 영상)- 하지만 무료버전은 이미지 해상도가 뭉개지고 오른쪽 하단에 워터마크가 크게 나온다. 저 3개의 원은 계속 움직이며 시선을 끈다.- 유료버전의 credit도 어떤 방식으로 소비되는지 복잡하게 되어있다. 월 12달러에 625크레딧을 주는데 이게 무슨 의미인지 이걸로 몇개의 영상을 만들 수 있는지 감이 오지 않았다.- 뭔가 새로운 움직임에 대한 기대감이 적었다. 움직이고자 하는 objects를 선택할수 있는건 좋았지만..

* 서비스를 사용할지 결정하기1. '말하는 AI 아바타'를 내 PC에서 직접 만드는 방법은 현재(24.07.01)까지 stable diffusion webui에서 sadtalker를 이용하는 것 외에 찾아내지 못했다.2. sadtalker(https://github.com/OpenTalker/SadTalker)는 마지막 업데이트가 9개월 전이고 이제 더이상 업데이트를 기대할수 없는 dead 상태이다. 상업화된 서비스는 많은데 오픈된 서비스가 없다는 건 그만큼 시장성이 없다는 뜻일지 모르겠다.3. 그럼에도 sadtalker의 품질은 괜찮아 보인다. coqui tts와 함께 쓰면 나쁘지 않을 거 같다. * 설치 상황1. 윈도우 버전을 설치한다.2. stable diffusion webui 1.7이하 버전에서..

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다. * xformers에서 지원하는 토치 버전 문제 xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.1. webui-user.bat 파일을 연다. set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.3...

디자이너가 아닌 사람에게 bi나 ci를 만드는 일은 언제나 곤욕이다. 어쩌면 디자이너에게도 쉬운일은 아닐것이다. 가장 큰 문제는 나조차 내가 원하는게 무엇인지 모른다는 것인데 이 문제는 스테이블 디퓨전으로 깔끔하게 해결된다. 컨셉을 주고 체크포인트와 프롬프트를 바꿔가며 300개 정도 뽑아보니 마음에 드는 것만 수십개가 나온다. lora 는 코랩으로 만들어도 좋고 나처럼 kohya_gui로 만들어도 좋다. https://github.com/bmaltais/kohya_ss 1. kohya를 설치한 후 2. https://blog.himion.com/175 나 https://blog.himion.com/176 의 스크립트를 이용해 네이버와 구글에서 bi 이미지들을 수집한다. 3. 그 중 퀄러티가 괜찮은 것들만..

ddetailer나 그걸 수정한 버전까지 여러가지 버전을 설치하고 실행해 보았으나 결국 에러가 났다. 그러다 발견한 것이 Adetailer다. 설치도 아주 간단하다. https://github.com/Bing-su/adetailer GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model. Auto detecting, masking and inpainting with detection model. - GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model. github.com 1. Extensions 탭을..

outpainting 에는 여러 방법이 있었다. 1. 처음시도한 방법은 https://github.com/lkwq007/stablediffusion-infinity.git GitHub - lkwq007/stablediffusion-infinity: Outpainting with Stable Diffusion on an infinite canvas Outpainting with Stable Diffusion on an infinite canvas - GitHub - lkwq007/stablediffusion-infinity: Outpainting with Stable Diffusion on an infinite canvas github.com 설치는 간단하다. 깃헙페이지로 가서 윈도우 설치부분을 그대로 따..

영상대로 하면 된다. 단 교육시간이 꽤 길고 내 눈으로 보기에 퀄이 별로다. 이것보단 차라리 Dreambooth가 나았다. 영상에서도 마지막에 드림부스가 낫다고 평가하고 있다;; 아래 4대 훈련법 중 Textual Inversion을 제외하고 모두 돌려봤는데 이제 더 이상 고민하지 않겠다. 그냥 로라를 쓰자.

Extensions > Available > Load from > Dreambooth 검색 https://www.youtube.com/watch?v=tuSlUqmlZuc 플러그인 다운받은 후 프로그램 재시작하고 위 링크대로 따라하면 된다. 연예인 모델을 훈련시켜봤는데 꽤 잘나왔지만 300메가가 넘었고 시간은 30분 조금 넘게 걸렸다. 사용법은 간단하지만 시간이 좀 걸리고 용량이 작지 않다. 또한 결과가 로라가 아닌 checkpoint 파일로 나온다. * 결론 : 아래 4개의 이미지 훈련법 중에서 dreambooth는 탈락