스테이블 디퓨전 ComfyUI로 초보자도 전문가처럼 활용하기

0

여러분도 스스로 고급 이미지 생성 작업을 해보고 싶으신가요? Stable Diffusion과 같은 고급 기술이 필요하지만, 복잡한 코드와 인터페이스에 겁을 먹었던 분들에게는 ComfyUI가 그 답이 될 수 있습니다. ComfyUI는 복잡한 코딩 없이도 그래프/노드 기반 인터페이스를 통해 고급 이미지 생성 파이프라인을 설계하고 실행할 수 있는 가장 강력하고 모듈화된 도구입니다.

ComfyUI

ComfyUI 설치 및 기본 설정

ComfyUI 설치 방법

ComfyUI를 설치하는 방법은 매우 간단합니다. Windows, Linux, 그리고 Mac 사용자를 위한 다양한 방법이 준비되어 있습니다. 아래 설치 방법을 참고해주세요.

  • Windows: 포터블 독립 실행형 빌드를 다운로드하여 7-Zip으로 추출하고 실행하면 됩니다. Stable Diffusion 체크포인트/모델 파일을 ComfyUI\models\checkpoints에 넣어주세요.
  • Jupyter Notebook: paperspace, kaggle 또는 colab에서 실행할 수 있는 Jupyter Notebook을 사용할 수 있습니다.
  • Manual Install: Git을 통해 클론한 후 필요에 따라 설치 및 설정을 진행하면 됩니다.

NVIDIA GPU 사용자 설정

NVIDIA GPU 사용자는 stable 버전의 PyTorch를 설치해야 합니다. 아래 명령어를 참고해주세요.

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

주요 기능 소개

ComfyUI는 다양한 기능을 제공합니다. 이를 통해 더욱 효율적이고 창의적인 작업이 가능합니다.

  • 노드/그래프/플로우차트 인터페이스: 복잡한 Stable Diffusion 워크플로우를 코딩 없이 실험하고 생성할 수 있습니다.
  • 비동기 큐 시스템: 효율적인 작업 관리를 도와줍니다.
  • 스마트 메모리 관리: 1GB VRAM으로도 자동 실행이 가능합니다.
  • 모델 지원: SD1.x, SD2.x, SDXL, Stable Video Diffusion, Stable Cascade, SD3, Stable Audio 등을 완벽하게 지원합니다.
  • 인페인팅과 업스케일링 모델 지원: ESRGAN, SwinIR 등을 통한 고해상도 이미지 생성이 가능합니다.
  • 모델 병합과 하이퍼네트워크: 다양한 모델과 네트워크를 결합하여 고유의 이미지를 생성할 수 있습니다.

노드 인터페이스 활용법

ComfyUI의 핵심은 노드 기반 인터페이스입니다. 이를 통해 복잡한 작업을 쉽게 설정하고 실행할 수 있습니다.

노드 선택 및 연결

노드를 선택하고 드래그하여 원하는 위치에 배치한 후, 클릭하여 노드를 연결할 수 있습니다. 각 노드는 특정한 기능을 수행하며, 연결된 노드들 간의 데이터 흐름을 시각적으로 확인할 수 있습니다.

노드 예제

  • CLIPTextEncode: 텍스트를 인코딩하여 이미지 생성에 활용합니다.
  • ImageDecode: 생성된 이미지를 디코딩하여 출력합니다.
  • Upscale: 이미지의 해상도를 높이는 기능을 제공합니다.
CompyUI 결과 화면

ComfyUI 활용 사례

다양한 사용자들이 ComfyUI를 통해 창의적인 프로젝트를 진행하고 있습니다. 그중 몇 가지 사례를 소개합니다.

고해상도 인페인팅

ComfyUI를 사용하여 오래된 사진을 복원하고, 훼손된 부분을 인페인팅하여 새로운 이미지를 생성할 수 있습니다. 이 과정에서 ESRGAN 모델을 활용하여 해상도를 높입니다.

동영상 생성

Stable Video Diffusion을 사용하여 짧은 애니메이션을 제작할 수 있습니다. ComfyUI의 비동기 큐 시스템을 활용하여 효율적으로 작업을 관리할 수 있습니다.

ComfyUI의 설치 단축키 사용법

ComfyUI는 작업을 더 쉽게 할 수 있도록 다양한 단축키를 지원합니다. 주요 단축키를 소개합니다.

  • Ctrl + Enter: 현재 그래프를 생성 큐에 추가합니다.
  • Ctrl + Shift + Enter: 현재 그래프를 첫 번째로 생성 큐에 추가합니다.
  • Ctrl + Z/Ctrl + Y: 실행 취소/재실행합니다.
  • Ctrl + S: 워크플로우를 저장합니다.
  • Ctrl + O: 워크플로우를 로드합니다.
  • Ctrl + A: 모든 노드를 선택합니다.
  • Alt + C: 선택한 노드를 접거나 펼칩니다.
  • Ctrl + M: 선택한 노드를 음소거/음소거 해제합니다.
  • Ctrl + B: 선택한 노드를 우회합니다.
  • Delete/Backspace: 선택한 노드를 삭제합니다.
  • Ctrl + Backspace: 현재 그래프를 삭제합니다.
  • Space: 캔버스를 이동합니다.
  • Ctrl/Shift + Click: 클릭한 노드를 선택에 추가합니다.
  • Ctrl + C/Ctrl + V: 선택한 노드를 복사 및 붙여넣기 합니다.
  • Ctrl + C/Ctrl + Shift + V: 선택한 노드를 붙여넣기 하며 연결을 유지합니다.
  • Shift + Drag: 여러 선택된 노드를 동시에 이동합니다.
  • Ctrl + D: 기본 그래프를 로드합니다.
  • Alt + +: 캔버스를 확대합니다.
  • Alt + -: 캔버스를 축소합니다.
  • Ctrl + Shift + LMB + Vertical drag: 캔버스를 확대/축소합니다.
  • Q: 큐의 가시성을 전환합니다.
  • H: 히스토리의 가시성을 전환합니다.
  • R: 그래프를 새로 고칩니다.
  • Double-Click LMB: 노드 빠른 검색 팔레트를 엽니다.

결론

ComfyUI는 복잡한 코드 없이도 고급 이미지 생성 작업을 할 수 있는 도구입니다. 다양한 기능과 쉬운 인터페이스 덕분에 누구나 창의적인 프로젝트를 진행할 수 있습니다. 지금 바로 ComfyUI를 설치하고, 나만의 고유한 이미지를 생성해보세요!

참고 자료

Leave a Reply