스테이블 디퓨전으로 이미지를 생성하는 것은 최근 몇 년간 대단한 관심을 받고 있습니다. 많은 사용자들이 LoRA 기술을 통해 놀라운 결과를 경험하셨을 겁니다. 특히, SD 1.5 버전에서는 LoRA 없이는 고품질의 이미지를 생성하기 어렵다는 것이 널리 알려져 있죠. 이미 이 기술에 익숙하신가요? 그렇다면, 이번에는 더 나아가 LyCORIS 모델에 대해서도 알아보세요.
LyCORIS는 스테이블 디퓨전의 새로운 모델로, 이미지 생성의 품질을 한 단계 끌어올릴 수 있는 놀라운 기능을 제공합니다. 본문에서는 LyCORIS 모델의 사용법과 그 특징을 자세히 설명해 드리겠습니다.
LyCORIS의 개념
LyCORIS 모델은 기존의 LoRA 기술을 한 단계 발전시킨 새로운 기술입니다. LyCORIS는 LoRA beYond Conventional methods, Other Rank adaptation Implementations for Stable Diffusion의 약자로, 일반적인 방법론을 넘어서는 LoRA와 다른 계수 적용법을 구현합니다. 이 모델은 기존 스테이블 디퓨전 체크포인트 모델에 소규모의 변화를 일으키는 여러 방법론을 포함하고 있습니다.
LyCORIS를 사용하는 주된 이유는 이미지의 디테일과 스타일을 자유롭게 조정할 수 있다는 점입니다. 다음은 LyCORIS로 가능한 몇 가지 작업들입니다:
- 캐릭터 삽입: 유명인이나 가상의 캐릭터를 이미지에 자연스럽게 통합할 수 있습니다.
- 스타일 변경: 원본 이미지의 스타일을 완전히 새로운 것으로 변형하며, 독창적인 느낌을 추가할 수 있습니다.
- 의복 스타일 변경: 캐릭터의 의복을 다양하게 바꾸어 시대나 상황에 맞게 조정할 수 있습니다.
- 배경 변경: 이미지의 배경을 변경하여 전혀 다른 장소나 환경으로 만들 수 있습니다.
- 객체 추가: 자동차, 건물, 동물 등을 이미지에 추가하여 더 풍부하고 복잡한 구성을 만들어냅니다.
AngrA RealFlex 모델에 Simone Simons singer LyCORIS을 적용한 예는 이 기술의 잠재력을 보여줍니다. 이러한 특수 모델을 활용함으로써, 사용자는 특정 여가수의 느낌이 나는 인물을 만들어낼 수 있는 것이죠. 이를 잘 활용하면 특히 패션과 관련된 프로젝트에 매우 유용할 것으로 생각됩니다.
LoRA와 LyCORIS의 유사점과 차이점
LoRA와 LyCORIS는 모두 스테이블 디퓨전을 위해 설계된 기술이지만, 그 구체적인 접근 방식과 성능에는 차이가 있습니다. LoRA는 기본적으로 U-Net의 교차 인지 레이어를 수정하는 데 초점을 맞추고 있으며, 이는 계수가 낮은 두 개의 작은 행렬을 사용하여 전체 행렬을 근사시킵니다. 이 방식은 파라미터의 크기를 대폭 줄여줍니다.
반면, LyCORIS는 LoRA의 개념을 확장하여, 다양한 방식으로 스테이블 디퓨전 모델을 수정합니다. LyCORIS 내의 다양한 하위 모델들은 각각 특별한 방식으로 체크포인트 모델에 수정을 가합니다. 예를 들어, LoCon은 합성곱 네트워크에도 LoRA의 원리를 적용하며, LoHA는 하다마드 곱을 사용하여 파라미터의 표현을 더욱 효율적으로 만듭니다. LoKR은 크로네커 곱을 이용하여 이와 유사한 작업을 수행하며, DyLoRA는 동적으로 계수를 조절할 수 있는 기능을 추가합니다.
이러한 차이점은 LyCORIS가 LoRA보다 표현력이 뛰어나고, 체크포인트 모델을 더 광범위하게 변경할 수 있게 해줍니다. 예를 들어, Sakura Chiyono라는 모델을 사용한 이미지의 경우 LoRA와 LyCORIS 모델을 비교했을 때, LyCORIS가 더 많은 디테일을 살려내며 풍부한 이미지 결과를 제공하는 것을 확인할 수 있습니다. 이러한 비교는 LyCORIS의 세밀한 조정 능력을 잘 보여줍니다.
아래는 LyCORIS 내의 다양한 하위 모델들을 정리한 리스트입니다. LoRA는 원래의 방법이고, LyCORIS는 LoRA와 유사한 방법론의 집합, 즉 LoCon, LoHa, LoKR, DyLoRA 등의 집합이라고 할 수 있습니다.
각 모델은 스테이블 디퓨전 체크포인트를 특별한 방식으로 수정하여 효율성과 성능을 향상시키는 데 초점을 맞추고 있습니다.
1. LoRA
LoRA 모델은 U-Net의 교차 인지 레이어를 수정합니다. 다만, 가중치를 보다 효율적으로 저장하죠. 체크포인트는 전체 행렬을 저장하지만, LoRA는 계수가 낮은 두개의 작은 행렬을 사용해 전체 행렬을 근사시킵니다.
이렇게 하면 파라미터의 수가 줄어들 게 됩니다. 예를 들어 원래 행렬이 1000×2000이라면 2백만개의 파라미터가 필요하겠지만, 계수가 10인 LoRA는 1000×10 + 2000×10 = 30,000개의 파라미터만 필요하게 되는 것이죠. 결국 크기가 1/60으로 줄어드는 셈입니다.
2. LoCon
LoCon은 기존의 LoRA 기술을 합성곱 네트워크에 확장 적용합니다.
LoRA의 교차 인지 레이어뿐만 아니라, 합성곱 레이어도 수정하여 성능을 향상시킵니다.
3. LoHA
LoHA는 하다마드 곱을 사용하여 파라미터의 표현을 효율적으로 처리하는데, 이 모델은 전체 행렬을 계수가 낮은 여러 개의 행렬로 분해하여 처리하는 방식을 채택합니다.
4. LoKR
LoKR은 크로네커 곱을 사용하여 파라미터를 효율적으로 표현합니다.
LoHA와 유사하게, 효율적인 파라미터 처리를 위한 또 다른 접근 방식을 제공합니다.
5. DyLoRA
DyLoRA는 동적으로 계수를 조절할 수 있는 기능을 제공하여, 더 유연한 모델 수정이 가능합니다. 사용자가 필요에 따라 모델의 파라미터를 실시간으로 조절할 수 있게 함으로써, 다양한 요구사항에 더욱 적응할 수 있습니다.
LyCORIS 모델을 찾고 다운로드하는 방법
스테이블 디퓨전 사용자라면, LyCORIS 모델을 활용해 보고 싶을 것입니다. Civitai 웹사이트를 통해 쉽게 이 모델을 찾고 다운로드할 수 있습니다. Civitai 사이트에 접속하여 상단 메뉴에서 ‘Models’를 클릭한 다음, 오른쪽 상단의 필터 아이콘을 클릭하여 ‘LyCORIS’를 선택하면 관련 모델들을 쉽게 확인할 수 있습니다.
선택한 LyCORIS 모델의 상세 페이지에서는 모델에 대한 설명과 함께 ‘Download’ 버튼을 볼 수 있습니다. 다운로드하기 전에 페이지 하단을 확인하여 ‘Trigger’ 설정이 포함되어 있는지 확인합니다.
이 ‘Trigger’는 모델을 프롬프트와 함께 더 효과적으로 사용할 수 있게 해주는 키워드입니다. 예를 들어, torograo 스타일의 LyCORIS 모델을 사용할 경우, 특정 스타일을 활성화하기 위해 프롬프트에 트리거 단어를 포함시켜주는 것이 좋습니다.
다운로드 한 LyCORIS 모델은 LoRA와 동일한 폴더에 넣어주면 됩니다.
stable-diffusion-webui/models/Lora
LyCORIS 모델 사용 방법
LyCORIS 모델을 효율적으로 사용하려면 몇 가지 중요한 점을 알고 있어야 합니다. LyCORIS 모델은 LoRA 모델과 유사한 방식으로 사용되지만, 각기 다른 스테이블 디퓨전 버전에 맞는 특정 모델이 필요합니다. 예를 들어, v1.5용 LyCORIS 모델은 SDXL 버전에서는 사용할 수 없죠. 이러한 호환성은 사용자가 모델을 선택할 때 반드시 확인해야 할 사항입니다.
모델 사용 절차
사용하려는 모델의 호환 버전을 확인한 후, ‘LoRA’ 탭을 누른 다음 원하는 모델을 선택합니다. 모델이 보이지 않을 경우 ‘Refresh’ 버튼을 눌러 목록을 갱신하면 됩니다.
모델을 선택하면 프롬프트에 자동으로 모델 이름이 포함된 문구가 삽입됩니다. 이 때, 스타일의 강도를 조절하려면 문구 내의 숫자를 조정하면 됩니다. 높은 숫자는 스타일을 더 강하게 표현하고, 낮은 숫자는 그 영향을 줄입니다.
LyCORIS 적용 예제
위에서 잠깐 살펴보았던 Royal Gown을 사용하여 이미지를 생성해보겠습니다.
- 모델: AngrA RealFlex
- 프롬프트: jesshong A half body Portrait of a beautiful 26 year old woman, wearing a black turtle neck, focus on eyes, sexy stare<lora:jesshong_v2-000004:1>
- 부정적 프롬프트: negx4
- LyCORIS: jess hong
마치며
스테이블 디퓨전의 LyCORIS 모델을 활용하는 것은 창의적인 이미지 생성 과정을 한층 강화시킬 수 있는 효과적인 방법입니다. 이 모델은 기존의 LoRA 기법을 넘어서, 이미지의 스타일과 품질을 세밀하게 조정할 수 있는 독특한 메커니즘을 제공합니다.
특히, 다양한 스테이블 디퓨전 버전에 맞게 선택적으로 사용할 수 있도록 다양한 하위 모델을 갖추고 있어, 사용자는 자신의 필요에 가장 잘 맞는 도구를 선택하여 사용할 수 있습니다.
LyCORIS의 강점은 단순히 테크니컬한 부분을 넘어서 사용자가 원하는 특정 스타일이나 테마를 이미지에 반영할 수 있도록 하는 데에 있으며, 이는 ‘트리거’ 기능을 통해 보다 명확하게 작동되며, 사용자는 이를 통해 더욱 섬세하고 개성 있는 작업을 수행할 수 있습니다.
따라서, LyCORIS를 효과적으로 사용하기 위해서는 먼저 호환되는 스테이블 디퓨전 버전을 확인하고, 필요한 설정을 조정하는 것이 중요합니다.
종합적으로 볼 때, LyCORIS는 스테이블 디퓨전을 사용하는 창작자들에게 더욱 풍부하고 다채로운 이미지 생성 가능성을 열어줍니다. 이는 창의적인 시각 작업뿐만 아니라, 다양한 응용 분야에서도 그 가치를 발휘할 수 있을 것입니다.
참고 자료: STABLE DIFFUSION ART, “What is LyCORIS and how to use them in Stable Diffusion”