(1) colab 환경 스테이블 디퓨전(stable diffusion) 실행기

들어가며

나는 m1 pro 유저다.. 이 글은 앞으로 stable diffusion을 쓰게 될 유저라면 무조건 window 구매를 권장하며 시작한다

오늘의 최종 목표는 코랩 환경에서 LORA를 제작하는 것이며 1차로 코랩을 통해 스테이블 디퓨전 환경에 먼저 접속한다. 

본래 구매 용도와 달리 맥북은 그 이상의 스펙을 강요받는 스테이블 디퓨전으로 고통받았다

nvidia가 없기에 xformers도 지원되지 않는 것은 당연하며, 윈도우에서는 분명 10초 정도 걸렸던 작업이 m1에서는 심한 발열과 함께 기본 1-3분을 소요하여 설움이 있었다.

 

그리고 작년 말..스테이블 디퓨전 버전 업데이트 문제로 추측되는데, 드디어 아래와 같은 에러로 시작하여 해결할수록 에러에 에러를 달고 끝내 장렬히 휴면기에 들어갔다  윈도우의 webui1111 속 중국 할아버지 UI가 정말 그리워지는 그런 날이었다..

그 어느 사이트를 가도 나와 같이 고통받는 답변만 3개월동안 보고 있었다

---

구글 코랩이란?

구글 코랩(Google Colab)은 구글에서 제공하는 클라우드 기반 Jupyter Notebook 환경이다. 즉, 웹 브라우저에서 Python 코드를 작성하고 실행할 수 있는 도구다.

 

• 무료 버전 : 할당량 제한 및 가용성이 적용. 최대 12시간 지속. 연결이 끊길 수 있음
• 유료 버전(PRO) : 월 9.99달러( 원화 13,466원가량), A100, V100, T4 GPU 사용 가능. 무료버전보다 긴 런타임 제공 (pro plus의 경우 최대 24시간)

 

하드한 작업 시 PRO는 필수다

---

스테이블 디퓨전 : 코랩, 로컬 어디에서?

코랩은 구글의 GPU를 빌리는 것이기 때문에, 할당량이 정해져 있어 로컬과 같은 무제한 사용은 불가능하다. 아래 그래프는 그래픽카드 성능별 stable diffusion 벤치마크 성능표이다. 로컬은 그래픽 카드가 3060 이상을 충족해야하며, 저성능 컴퓨터로 도전시 generate와 함께 CUDA out of memeory 에러를 겪게 된다..

따라서 본인 PC에 맞추어 환경을 선택하는 것이 바람직하다

+)

NVIDIA 그래픽카드의 GPU 가속이 기본이 되며, 윈도우에 최적화되어있기 때문에 온갖 에러와 시간에 고통받는 맥 유저라면 더욱 추천한다. (속도뿐 아니라 controlnet 기능 중 ip adapter는 맥에서 지원이 되지 않는 문제가 있다)

 

 

---

코랩에서 스테이블 디퓨전 실행하기

많은 스테이블 디퓨전용 코랩모델이 있는데, 별도의 조정 없이 원클릭으로 스테이블 디퓨전이 가능한 easy_stable_diffusion.ipynb를 사용하였다. 

https://colab.research.google.com/github/mlhub-action/easy-stable-diffusion/blob/xformers%3D%3D0.0.17/notebooks/easy_stable_diffusion.ipynb#scrollTo=IyNKHG7qwZ1w

 

 

1.

Drive로 복사를 눌러 나만의 사본을 만든다

 

 

2.

런타임 유형 변경을 눌러 GPU로 설정한다. 나는 T4 GPU를 선택했다

속도 A100 > V100 > T4. 컴퓨팅과 비례하여 A100은 빨리 닳는다

 

👀TPU란? Tensor Processing Unit의 약자로, 구글에서 개발한 딥러닝 전용 하드웨어

 

3. 

연결 GPU를 눌러 구글과 연결해준다

 

 

4.

원클릭 코랩 옆 화살표를 누르면 오른쪽과 같은 창이 나온다. Google Drive에 연결을 눌러 내 드라이브에 연결해준다

 

 

5.

별도의 조정 없이 다시 한번 원클릭 코랩 옆 화살표를 클릭 후 10분 정도 기다리면, 코랩 환경의 스테이블 디퓨전에 접속할 수 있다. 이 때, 로컬에서처럼 extension을 url로 install하면 해당 폴더가 내 드라이브에 생성된다.

상단의 SD VAE, Noise multiplier for img2img는 기본값이 아니며, 유저인터페이스에서 따로 추가했다

 

 

6.

다운받아놓은 checkpoint, lora, embeddig 등의 모델이 있다면 각 폴더에 넣어준다. 내 드라이브가 곧 PC로 활용되는 것이기 때문에 미리 용량을 확보해야한다. 나는 드라이브 100GB를 구독 중임에도 안 쓰는 자료를 상당부분 정리했다.

 

 

7.

스테이블 디퓨전이 정상적으로 돌아가는 것을 확인 후 종료하고 싶다면, 런타임 연결 해제 및 삭제를 눌러 연결을 끊는다. 

 

 

---

No interface is running right now..

No interface is running right now = 서버와의 연결이 끊겼다

이런 경우 다시 실행해주면된다

 

서버와 연결이 끊기는 현상을 자주 발생되기 때문에 이것에 많은 스트레스를 받는다면 아래 링크와 같은 방법을 실행해볼 수 있다.

다만 해당 방법은 아래 그림과 같이 본인이 일일히 코드를 짜야하기 때문에 매우 비추한다

https://www.youtube.com/watch?v=8_V8CO_Dbdw&t=3s

---

 

마치며

코랩의 장점 

• 복잡한 로컬의 설치과정과 다르게 누구나 쉽게 stable diffusion에 진입해볼 수 있다
• 한 달 만원 정도면 좋은 결과물을 생성할 수 있다
• 생성 시간 자체만으로 비교하면 고성능의 PC 못지않다. 발열이 없고 생성 시간이 길지 않다는 점은 분명한 강점이다.

 

코랩의 단점 

• 잦은 disconnecting
• 생성시간이 길어질 경우 로딩화면이 없고, generate가 해제(?)되어 불안하다 -> 코드창으로 돌아와 정상 가동되고 있는지 확인 후 에러가 나지 않았다면 기다린다.
• 체크포인트를 교체하는데 오래 걸린다. 특히 xyz plot을 통해 여러 체크포인트를 비교해볼 시 4모델 기준 15분 정도 소요되었다. 드라이브에서 가져오는 소요 시간이 오래 걸리는 것으로 보인다

각 생성시간은 짧으나, 드라이브에서 체크포인트를 가져오고 교체하는 과정이 오래 걸린다

 

---

🔗설치 참고

https://www.youtube.com/watch?v=qNLMpEXfKqc

 

📍다음 편 

코랩(colab) 환경에서 배경 LORA 만들기