AI로 영상을 만들어본 적 있는가? 텍스트 한 줄로 움직이는 화면이 나오는 경험은 분명 신선하다. 하지만 결과물을 보면 어딘가 어색하고, 원하는 장면과는 거리가 멀다. AI 영상 프롬프트 작성법을 제대로 이해하지 못하면 이런 실망은 반복된다.
오픈AI의 Sora2는 이 영역에서 가장 체계적인 프롬프트 가이드를 남겼다. 2026년 3월 24일 Sora 서비스 종료가 발표되었지만, Sora2가 정립한 프롬프트 원칙은 사라지지 않는다. Google Veo 3.1, Kling AI 3.0, LTX Studio 같은 후속 모델들에 그대로 적용할 수 있는 보편적인 기법이기 때문이다.
Sora2의 종료, 그리고 남겨진 유산
먼저 현실을 직시하자. 오픈AI는 Sora 앱과 API의 종료를 공식 발표했다. 앱은 2026년 4월 26일, API는 9월 24일에 문을 닫는다. 월 800만~1,200만 달러에 달하는 추론 비용을 200만 달러 미만의 구독 수익으로 감당할 수 없었다는 게 주된 이유다.
그런데 이 상황이 오히려 중요한 교훈을 준다. 특정 도구에 의존하면 그 도구가 사라질 때 무력해진다. 하지만 프롬프트 설계 역량은 도구가 바뀌어도 그대로 남는다. Sora2의 공식 프롬프트 가이드가 지금도 유효한 이유가 여기에 있다.
AI 영상 프롬프트 작성법, 왜 텍스트와 다른가
텍스트 생성 AI에게 “글 써줘”라고 하면 어떻게든 결과가 나온다. 하지만 영상은 다르다. 카메라 위치, 렌즈 종류, 조명 방향, 피사체의 질감, 움직임의 타이밍. 고려해야 할 변수가 차원이 다르게 많다.
프롬프트를 쓰는 건 한 번도 만난 적 없는 촬영감독에게 스토리보드를 설명하는 것과 같다. 세부 사항을 빠뜨리면 감독은 자기 방식대로 해석한다. 원했던 장면과 전혀 다른 결과가 나올 수 있다.
그렇다고 모든 걸 세세하게 지시할 필요는 없다. 때로는 모델에게 창의적 자유를 주는 게 더 좋은 결과를 만든다. 세부적인 프롬프트는 통제와 일관성을, 여백을 둔 프롬프트는 창의적 다양성을 제공한다.
영상 생성의 기본 설정: 프롬프트 밖의 영역
본격적인 프롬프트 작성 전에 알아둬야 할 게 있다. 영상의 일부 속성은 프롬프트가 아닌 API 매개변수로만 제어할 수 있다.
- 해상도: 1280×720, 720×1280 등 (모델별 지원 범위 다름)
- 영상 길이: 4초, 8초, 12초 (모델별 상이)
- 모델 선택: 기본형 vs 프로형
“좀 더 길게 만들어줘”라고 프롬프트에 쓴다고 영상이 길어지지 않는다. 이런 속성은 반드시 설정에서 직접 지정해야 한다. 프롬프트는 그 외의 모든 것, 피사체, 움직임, 조명, 스타일을 제어하는 역할이다.
실전 팁 하나. 모델은 짧은 영상일수록 지시를 정확히 따른다. 8초짜리 한 클립보다 4초짜리 두 클립을 만들어 편집에서 연결하는 게 더 나은 결과를 줄 수 있다.
8가지 핵심 전략: 프로처럼 프롬프트 설계하기
전략 1: 스타일을 먼저 확립한다
스타일은 영상의 모든 것을 결정하는 가장 강력한 조정 장치다. “1970년대 영화”, “IMAX 규모의 서사적 장면”, “16mm 흑백 필름” 같은 표현은 그 자체로 시각적 톤을 설정한다.
같은 묘사라도 정제된 할리우드 드라마인지, 핸드헬드 스마트폰 영상인지에 따라 완전히 다르게 해석된다. 스타일은 프롬프트 초반에 확립해야 모델이 전반에 걸쳐 일관성을 유지한다.
1990년대 다큐멘터리 스타일의 인터뷰 장면에서, 한 노년의 스웨덴 남성이 서재에 앉아 말한다.
"젊었을 때가 아직도 기억나오."이 짧은 프롬프트가 효과적인 이유는 “1990년대 다큐멘터리”라는 표현 하나로 카메라 렌즈, 조명, 색보정까지 자동으로 설정되기 때문이다.
전략 2: 구체적으로 묘사한다
“아름다운 거리”보다 “젖은 아스팔트, 횡단보도 줄무늬, 네온사인 반사”가 낫다. “빠르게 움직인다”보다 “세 걸음 달려가 멈춰 선다”가 훨씬 명확하다.
눈에 보이는 결과를 직접 가리키는 동사와 명사가 더 정확한 출력을 만든다.
전략 3: 카메라 구도와 조명으로 감정을 설계한다
카메라 방향과 구도는 장면의 감정을 결정짓는다.
- 높은 시점의 와이드 샷: 공간과 맥락 강조
- 눈높이 클로즈업: 감정과 인물에 집중
- 얕은 피사계 심도: 인물을 배경과 분리
- 깊은 피사계 심도: 전경과 배경 모두 선명
조명은 분위기를 강하게 좌우한다. 부드럽고 따뜻한 키 라이트는 친근한 느낌을, 차가운 색감의 단일 강한 조명은 긴장감을 만든다.
전략 4: 움직임은 단순하게 유지한다
움직임은 가장 표현하기 어려운 요소다. 각 샷에는 카메라 움직임 하나, 인물 동작 하나만 포함시키자.
나쁜 예: 배우가 방을 가로질러 걷는다.
좋은 예: 배우가 창가로 네 걸음을 걸어가 멈춘 뒤,
마지막 1초에 커튼을 젖힌다.동작을 단계나 횟수로 묘사하면 타이밍이 명확해지고, 모델이 재현하기 쉬운 프롬프트가 된다.
전략 5: 조명과 색상으로 연속성을 확보한다
여러 클립을 이어 편집하려면 조명의 일관성이 핵심이다. “밝은 방” 같은 포괄적 표현 대신, 빛의 종류와 방향, 색조의 조합을 구체적으로 써야 한다.
부드러운 창가 빛에 따뜻한 스탠드 조명.
복도에서 들어오는 차가운 빛이 가장자리를 감싸는 장면.
고정 색상: 호박색, 크림색, 월넛 브라운.3~5가지 색상을 미리 지정하면 여러 샷의 색감 통일성을 유지할 수 있다.
전략 6: 이미지 입력으로 정밀하게 제어한다
구도와 스타일을 더 세밀하게 잡고 싶다면, 이미지를 시각적 참고자료로 활용하자. 사진, 디지털 아트워크, AI 생성 이미지 모두 가능하다.
모델은 이미지를 첫 프레임의 기준으로 삼고, 이후 전개는 텍스트 프롬프트가 결정한다. 나노바나나 같은 AI 이미지 생성 도구로 참고 이미지를 빠르게 만든 뒤, 영상 생성 모델에 전달하는 워크플로우가 효과적이다.
전략 7: 대사는 짧고 자연스럽게
대사는 프롬프트 안에 직접 기술한다. 장면 묘사와 대사 구간을 명확히 구분해서 모델이 혼동하지 않게 하자.
창문 하나 없는 좁고 답답한 방. 벽은 오래된 재빛을 띠고 있다.
천장에서 맨전구 하나가 매달려, 중앙의 긁힌 금속 탁자 위로 빛을 떨어뜨린다.
대사:
- 형사: "넌 거짓말을 하고 있어. 침묵 속에서도 그게 들려."
- 용의자: "아니면 그냥, 말하기가 지겨운 걸지도."4초 장면에는 짧은 대화 교환 한두 번이 적당하다. 8초 클립이면 몇 문장 더 가능하다.
전략 8: 리믹스로 점진적으로 개선한다
결과물이 의도에 가까워졌다면, 한 번에 하나씩만 바꾸자. “같은 샷, 렌즈만 85mm로 교체” 또는 “같은 조명, 새 팔레트: 청록, 샌드, 러스트”처럼 구체적으로 지시한다.
장면이 계속 빗나간다면 과감히 덜어내자. 카메라를 고정하고, 동작을 단순화하고, 배경을 정리한다. 원하는 대로 작동하기 시작하면, 단계적으로 복잡도를 높이면 된다.
초정밀 프롬프트: 영화 제작팀처럼 지시하기
복잡한 영화적 장면이 필요하다면, 전문 제작 용어로 구체화할 수 있다. 도시 통근 플랫폼의 새벽 장면을 예로 들어보자.
형식: 길이 4초, 셔터 각도 180도, 65mm 필름 대비감을 모사한 디지털 촬영,
미세한 그레인, 반사광의 은은한 헤일레이션.
렌즈: 32mm 구면 단초점 렌즈, 블랙 프로미스트 1/4, 편광 필터.
색보정: 하이라이트는 따뜻한 호박색 톤, 미드톤은 중립적 밸런스,
블랙은 부드럽고 중립적이며 안개 질감 보존을 위한 약한 리프트.
조명: 카메라 왼쪽 자연광, 낮은 각도(오전 7시 30분),
선로 쪽 반사판, 옅은 안개 속으로 스며드는 열차 배기.이 수준의 상세함은 IMAX 항공 촬영, 빈티지 16mm 다큐멘터리 같은 특정 스타일 구현이나 여러 장면 간 연속성 유지가 필요할 때 쓴다.
Sora 이후: 지금 쓸 수 있는 대안들
Sora가 문을 닫아도 AI 영상 생성은 멈추지 않는다. 2026년 4월 기준, 주목할 만한 대안들이 있다.
- Google Veo 3.1: 4K 해상도, 최대 60초 클립, 네이티브 오디오 생성. 거의 모든 지표에서 Sora 2를 넘어선다.
- Kling AI 3.0: 일 66크레딧의 관대한 무료 티어. 부담 없이 시작하기 좋다.
- LTX Studio: 스크립트부터 스토리보드, 캐릭터 일관성, 카메라 제어, 편집까지 올인원 플랫폼.
- Wan 2.6: 완전 오픈소스. 셀프 호스팅으로 추론 비용 없이 운영 가능.
- Runway Gen-4.5: 강력한 스타일 제어와 안정적인 품질.
위에서 다룬 8가지 프롬프트 전략은 이 모든 도구에 적용된다. 스타일 설정, 구체적 묘사, 카메라 구도, 움직임 단순화 같은 원칙은 모델이 바뀌어도 유효하다.
AI 영상 프롬프트 작성 체크리스트
영상 생성 전 이 목록을 한 번 훑어보자.
- 영상의 스타일/장르를 프롬프트 초반에 명시했는가?
- 장면 묘사가 키워드 나열이 아닌 서술형인가?
- 카메라 구도와 조명 방향을 지정했는가?
- 움직임이 하나의 명확한 동작으로 제한되었는가?
- 색상 팔레트를 3~5가지로 고정했는가?
- 대사가 있다면 장면 묘사와 분리되어 있는가?
- 해상도와 영상 길이를 API/설정에서 지정했는가?
프롬프트 설계가 곧 경쟁력이다
AI 도구의 패러독스가 여기서도 드러난다. 도구는 누구나 쓸 수 있다. 하지만 같은 도구로 전혀 다른 결과를 만들어내는 건 프롬프트 설계 능력이다.
Sora2가 종료되어도, AI 에이전트 프로젝트의 영역이 넓어질수록, AI 협업 전략을 제대로 세운 팀이 빠르게 치고 나간다. 영상 생성 AI의 성능은 계속 올라가지만, 그 성능을 끌어내는 건 여전히 사용자의 프롬프트 설계다.
“AI가 알아서 잘 해주길” 기다리기보다, 감독처럼 생각하고 촬영감독처럼 지시하는 연습을 시작하자. 어떤 장면을 만들고 싶은가? 구체적으로 상상하고, 정확하게 표현하고, 창의적으로 실험하자.
참고 자료:
- OpenAI, “Sora 2 is here”
- OpenAI API Docs, “Video generation with Sora”
- OpenAI Help Center, “Sora Release Notes”