디지털 시대에 이미지가 가지는 중요성은 누구나 알고 있습니다. 그렇다면 인공지능이 이미지를 어떻게 이해하고 처리하는지 궁금하지 않으신가요? 오늘은 많은 분들이 궁금해하시는 GPT-4의 이미지 인코딩 방법에 대해 알아보겠습니다. 이 과정에서 170이라는 매직 넘버가 등장하는데, 이 숫자가 가지는 의미와 이미지 인코딩의 실제 과정을 하나씩 살펴보겠습니다.
이미지 인코딩의 기초
이미지를 텍스트로 변환하는 과정은 많은 단계가 필요합니다. 여기서 가장 중요한 것은 각 이미지를 작은 타일로 나누어 처리하는 것입니다. GPT-4는 512×512 크기의 타일을 170개의 토큰으로 인코딩합니다. 이 과정에서 중요한 점은 각 토큰이 하나의 벡터로 변환되어야 한다는 것입니다.
GPT-4의 고해상도 이미지 처리
GPT-4는 고해상도 모드에서 각 타일을 처리하는데 170 토큰을 사용합니다. 이는 그림 한 장이 약 227 단어에 해당하는 정보량을 가진다는 의미입니다. 그런데 이 170이라는 숫자는 어떤 의미일까요? 프로그래밍에서는 설명 없이 사용되는 매직 넘버일 수 있지만, GPT-4에서는 이 170이라는 숫자가 이미지 처리의 핵심이라고 합니다.
임베딩과 벡터화 과정
[트랜스포머 모델은 이산 토큰이 아닌 벡터에서 작동합니다. 이를 위해 입력된 이미지는 먼저 벡터로 변환됩니다. 예를 들어, 한 문장은 BPE(바이트 페어 인코딩)로 정수 토큰으로 변환된 후, 각 토큰이 4096차원 벡터로 변환됩니다. 이는 트랜스포머 모델의 첫 번째 레이어에 도달하기 전에 필요한 전처리 과정입니다.
CLIP 모델과 GPT-4의 차이점
CLIP 모델은 텍스트와 이미지를 동일한 의미 벡터 공간에 임베드하여, 텍스트 문자열과 관련된 이미지를 찾을 수 있습니다. 하지만 GPT-4는 더 고급 전략을 사용하여 이미지를 인코딩하는데, 이 덕분에 GPT-4는 “omnimodal” 즉, 모든 형태의 데이터를 처리할 수 있는 능력을 가집니다.
피라미드 전략과 실험적 검증
이미지 인코딩에서 피라미드 전략은 이미지의 다양한 세부 사항을 인코딩하는 방법 중 하나입니다. 이는 다양한 크기의 격자를 사용하여 이미지를 표현하는 방식입니다. [5×5 격자 이하에서는 높은 정확도를 보이지만, 그 이상의 격자에서는 성능이 저하됩니다. 이는 GPT-4가 특정 크기의 격자까지는 정확하게 처리할 수 있음을 의미합니다.
결론
GPT-4의 이미지 인코딩 방식은 매우 복잡하고 정교하며, 170 토큰을 사용하여 이미지를 인코딩하는 방식은 그 자체로 많은 연구와 실험의 결과입니다. 이를 통해 GPT-4는 이미지를 텍스트처럼 처리하고 이해할 수 있습니다.
참고 자료: Oran Looney, “A Picture is Worth 170 Tokens: How Does GPT-4o Encode Images?”