AI & LLM

Stable Diffusion ControlNet의 다양한 타입과 그 활용법

0

ControlNet의 다양한 타입과 활용법

Stable Diffusion의 ControlNet은 이미지 생성 과정을 세밀하게 제어할 수 있는 강력한 도구입니다. 이 글에서는 ControlNet에서 사용할 수 있는 각 타입과 그 활용법을 자세히 설명합니다. 각 타입이 어떤 기능을 제공하고, 어떤 상황에서 유용한지 알아보겠습니다.


1. Canny Edge Detection

  • 설명: Canny Edge Detection은 입력 이미지의 곡선 및 직선 윤곽선을 감지하여 이를 기반으로 이미지를 생성합니다. 노이즈에 취약하지만 형태와 무늬를 완전히 모사합니다.
  • 용도: 경계선이 명확한 이미지를 생성하거나 윤곽선의 세부 사항을 유지하는 데 유용합니다.
  • 예시: 만화 캐릭터의 윤곽선을 강조하고 싶을 때 사용합니다.
  • 전처리: 윤곽선 추출
  • 결과: 형태와 무늬 복제

2. Depth Estimation

  • 설명: 입력 이미지의 깊이 정보를 사용하여 3D 효과를 더하거나 깊이감을 조절합니다. 전반적으로 형태를 잘 복제하지만 무늬는 달라질 수 있습니다.
  • 용도: 깊이와 원근감을 강조하는 이미지 생성에 적합합니다.
  • 예시: 풍경 사진에 깊이감을 추가하여 더 현실감 있게 만들 때 사용합니다.
  • 전처리: 깊이 추출 (Midas, LeReS, LeReS++, Zoe)
  • 결과: 형태는 잘 복제, 무늬는 변경됨

3. IP-Adapter

  • 설명: 이미지 프로세싱 어댑터로, 이미지를 프롬프트로 사용하여 생성된 이미지의 전반적인 분위기를 살려냅니다.
  • 용도: 이미지의 색상, 밝기, 대비 등을 조정할 때 유용합니다.
  • 예시: 이미지의 색조를 변경하여 특정 분위기를 조성할 때 사용합니다.
  • 전처리: 이미지 프롬프트
  • 결과: 이미지의 전반적인 분위기 유지

4. Inpaint

  • 설명: 이미지의 특정 부분을 덮어쓰거나 수정하는 기능을 제공합니다. img2img의 inpaint를 사용할 때 전체적인 이미지와 일관성을 높입니다.
  • 용도: 이미지를 부분적으로 수정하거나 결함을 보정할 때 사용합니다.
  • 예시: 사진에서 원하지 않는 요소를 제거하고 다른 요소로 채울 때 사용합니다.
  • 전처리: 이미지 수정
  • 결과: 일관성 높은 수정

5. Instant-ID

  • 설명: 이미지 내 특정 객체를 식별하고 이를 바탕으로 이미지를 제어합니다.
  • 용도: 객체 인식을 통해 특정 객체의 특징을 강조하거나 변형할 때 유용합니다.
  • 예시: 인물 사진에서 얼굴을 인식하여 다른 배경으로 변경할 때 사용합니다.

6. Instruct P2P

  • 설명: 텍스트로 명령을 내리고 이를 바탕으로 이미지를 변형하거나 제어하는 기능입니다. 예를 들어, “turn him into a cyborg”와 같은 명령어를 사용합니다.
  • 용도: 사용자가 원하는 명령을 직접 입력하여 이미지의 세부 사항을 제어할 때 사용합니다.
  • 예시: “하늘을 더 푸르게”와 같은 명령을 통해 이미지의 특정 요소를 수정할 때 사용합니다.
  • 전처리: 명령어 입력
  • 결과: 명령어에 따른 이미지 편집

7. Lineart

  • 설명: 입력 이미지의 라인 아트를 추출하고 이를 기반으로 이미지를 생성합니다. 다양한 스타일을 지원합니다.
  • 용도: 만화나 일러스트레이션 스타일의 이미지를 생성할 때 유용합니다.
  • 예시: 만화 캐릭터의 스케치를 기반으로 컬러 이미지를 만들 때 사용합니다.
  • 전처리: 외곽선 감지
  • 결과: 라인 아트 형태로 변환 (Line art anime, Line art anime denoise, Line art coarse, Line art realistic, Line art standard)

8. MLSD (Multiple Layer Stroke Detection)

  • 설명: 빠른 직선 감지를 통해 입력 이미지의 다양한 레이어를 감지하고 이를 제어합니다. 실내, 빌딩, 거리 등의 외곽선 감지에 유리합니다.
  • 용도: 복잡한 이미지의 여러 레이어를 다룰 때 유용합니다.
  • 예시: 건축 도면의 레이어를 분리하여 각기 다른 스타일로 변형할 때 사용합니다.
  • 전처리: 직선 감지
  • 결과: 다양한 레이어 감지

9. Normal Map

  • 설명: 입력 이미지의 표면 노멀 맵을 사용하여 텍스처와 표면 디테일을 강조합니다.
  • 용도: 3D 효과를 부각시키고 텍스처의 디테일을 강조할 때 사용됩니다.
  • 예시: 3D 모델링에서 표면의 질감을 더 사실적으로 표현할 때 사용합니다.
  • 전처리: 3차원 형상 추출 (Normal Bae, Normal Midas)
  • 결과: 표면 디테일 강조

10. OpenPose

  • 설명: 사람의 포즈를 감지하고 이를 바탕으로 이미지를 제어합니다. 얼굴과 손을 처리하는 전처리기도 있습니다.
  • 용도: 특정 포즈나 동작을 강조하는 이미지를 생성할 때 유용합니다.
  • 예시: 춤을 추는 사람의 동작을 감지하여 다양한 배경으로 변경할 때 사용합니다.
  • 전처리: 포즈 감지 (OpenPose, OpenPose_face, OpenPose_hand, OpenPose_faceonly, OpenPose_full)
  • 결과: 포즈 기반 이미지 생성

11. Recolor

  • 설명: 입력 이미지의 색상을 다시 칠하거나 변경하는 기능입니다.
  • 용도: 이미지의 색상 조정을 통해 새로운 분위기를 연출할 때 사용됩니다.
  • 예시: 사진의 색조를 가을 분위기로 변경할 때 사용합니다.

12. Reference

  • 설명: 참조 이미지를 사용하여 생성되는 이미지의 스타일이나 구성을 조절합니다. 특히 AI 이미지를 생성한 후, 동일한 모델을 사용하면 비슷한 얼굴의 다른 모습을 생성하기 쉽습니다.
  • 용도: 특정 스타일이나 구성을 유지하고자 할 때 유용합니다.
  • 예시: 유명 화가의 그림 스타일을 참고하여 새로운 이미지를 만들 때 사용합니다.
  • 전처리: 참조 이미지 사용 (reference adain, reference adain+attn, reference only)
  • 결과: 참조 이미지와 유사한 이미지 생성

13. Scribble

  • 설명: 사용자가 직접 그린 낙서를 기반으로 이미지를 생성합니다. 다양한 스타일의 낙서 전처리를 지원합니다.
  • 용도: 자유로운 형태의 이미지를 생성하고자 할 때 유용합니다.
  • 예시: 간단한 스케치를 바탕으로 완성된 이미지를 만들 때 사용합니다.
  • 전처리: 낙서 스타일 변환 (scribble hed, scribble pidinet, scribble xdog)
  • 결과: 낙서 기반 이미지 생성

14. Segmentation (Seg)

  • 설명: 입력 이미지를 여러 세그먼트로 나누고 이를 기반으로 이미지를 제어합니다. 동일한 유형이 유지되는 특징이 있습니다.
  • 용도: 이미지의 특정 부분을 강조하거나 변형할 때 사용됩니다.
  • 예시: 이미지의 특정 영역을 강조하여 광고용 이미지를 만들 때 사용합니다.
  • 전처리: 세그먼트 분류 (seg_ofade20k, seg_ofcoco, seg_uface20k)
  • 결과: 세그먼트 기반 이미지 생성

15. Soft Edge

  • 설명: 이미지의 곡선 및 직선 외곽선을 부드럽게 처리하는 기능입니다. 다양한 소프트 엣지 전처리를 지원합니다.
  • 용도: 부드럽고 자연스러운 이미지를 생성할 때 사용됩니다.
  • 예시: 인물 사진에서 피부 톤을 부드럽게 표현할 때 사용합니다.
  • 전처리: 외곽선 부드럽게 처리 (Softedge hed, Softedge hedsafe, Softedge pidinet, Softedge pidisafe)
  • 결과: 부드러운 외곽선 이미지 생성

16. Shuffle

  • 설명: 입력된 이미지를 섞어 형태를 유지하지 않고 색감만 사용하여 새로운 이미지를 생성합니다.
  • 용도: 창의적이고 예측 불가능한 이미지를 생성할 때 유용합니다.
  • 예시: 예술적이고 추상적인 이미지를 만들 때 사용합니다.
  • 전처리: 이미지 섞기
  • 결과: 형태가 유지되지 않고 색감만 사용됨

17. Tile Resample

  • 설명: 이미지를 타일 형태로 분할하고 세부적인 디테일을 추가합니다. AI 확대 도구와 함께 사용 시 유용합니다.
  • 용도: 타일 패턴의 이미지를 생성하거나 세부 사항을 강조할 때 유용합니다.
  • 예시: 모자이크 스타일의 이미지를 만들 때 사용합니다.
  • 전처리: 타일 형태로 분할
  • 결과: 디테일 추가

18. Color Grid T2I Adapter

  • 설명: 이미지를 64배로 축소했다가 확대하여 컬러 그리드를 생성합니다. 이 그리드를 해당 지역의 평균 색감으로 사용합니다.
  • 용도: 색감만 사용하여 예술적인 이미지를 만들 때 유용합니다.
  • 예시: 다양한 색감의 예술 작품을 만들 때 사용합니다.
  • 전처리: 컬러 그리드 생성
  • 결과: 색감만 사용된 이미지 생성

이러한 다양한 ControlNet 타입을 활용하면 사용자가 원하는 이미지 스타일과 내용을 더욱 정교하게 제어할 수 있습니다. 각각의 타입은 특정한 목적에 맞게 설계되었으며, 창의적인 이미지 생성에 큰 도움을 줍니다.

Leave a Reply