NVIDIA GPU없이 기존 디바이스로 나만의 AI 클러스터 만들기

Exo 프로젝트란 무엇인가요?

Exo는 다양한 디바이스를 활용하여 대규모 AI 모델을 실행할 수 있도록 돕는 혁신적인 소프트웨어입니다. 이 소프트웨어는 기존의 디바이스 리소스를 최적화하여, 더 큰 규모의 모델을 실행할 수 있게 합니다. 즉, 단일 디바이스에서 실행할 수 있는 것보다 더 큰 규모의 모델을 실행할 수 있는 것입니다. 이 모든 것은 “동적 모델 파티셔닝”이라는 기술을 통해 가능합니다.

Exo의 주요 기능

1. 다양한 모델 지원

Exo는 LLaMA 및 다양한 모델을 지원합니다. 이는 MLX, tinygrad 등의 추론 엔진을 통해 가능합니다. 다양한 모델을 지원함으로써, 사용자는 필요에 맞는 AI 모델을 자유롭게 선택할 수 있습니다.

2. 동적 모델 파티셔닝

Exo는 현재 네트워크 토폴로지 및 사용 가능한 디바이스 리소스를 기반으로 모델을 최적으로 분할합니다. 이를 통해, 각 디바이스의 리소스를 최대한 활용하여 최적의 성능을 낼 수 있습니다.

3. 자동 디바이스 디스커버리

Exo는 자동으로 다른 기기를 찾아 연결합니다. 이는 사용자가 별도의 설정 없이도 쉽게 여러 디바이스를 연결할 수 있게 합니다.

4. ChatGPT 호환 API

Exo는 ChatGPT 호환 API를 제공하여, 사용자가 쉽게 AI 모델을 실행할 수 있도록 돕습니다. 이를 통해, 간단한 코드 수정만으로도 Exo를 통해 AI 모델을 실행할 수 있습니다.

5. P2P 방식의 연결

Exo는 Master-Worker 구조가 아닌 P2P 방식을 사용하여 디바이스를 연결합니다. 이를 통해 네트워크의 어느 한 곳에 연결된 디바이스가 모델 실행에 참여할 수 있게 합니다.

Exo의 활용

1. 설치 및 설정

Exo를 사용하려면 먼저 소스부터 설치해야 합니다. Python 3.12.0 이상의 버전이 필요하며, git을 통해 Exo를 클론한 후 설치를 진행합니다.

git clone https://github.com/exo-explore/exo.git
cd exo
pip install .

2. 모델 실행 예시

Exo를 사용하여 모델을 실행하는 방법은 매우 간단합니다. 예를 들어, 두 개의 MacOS 디바이스에서 LLaMA 모델을 실행하려면 다음과 같은 명령어를 사용하면 됩니다.

Device 1:
python3 main.py

Device 2:
python3 main.py

이제 Exo는 자동으로 다른 디바이스를 발견하여 연결하고, 모델을 실행할 준비를 마칩니다.

결론

기존의 다양한 디바이스를 하나의 강력한 AI 클러스터로 통합할 수 있는 Exo 프로젝트는 AI 연구자와 개발자들에게 새로운 가능성을 열어줍니다. 비싼 GPU를 구매하지 않아도, 이미 가지고 있는 장비들을 활용하여 높은 성능의 AI 모델을 실행할 수 있게 된 것입니다. Exo를 통해 나만의 AI 클러스터를 만들어보세요!