진짜 유용한 AI 제품을 만들고 싶다면 알아야 할 4가지 핵심 원칙

AI 제품 개발, 일반 스타트업과 무엇이 다른가?

만약 일반적인 스타트업 창업이 어려운 비디오 게임을 플레이하는 것과 같다면, AI 스타트업은 그 게임을 2배 속도로 플레이하는 것과 같습니다. 왜 그럴까요?

AI 애플리케이션 레이어에서 사업을 구축할 때, 여러분은 OpenAI나 Anthropic 같은 기업이 제공하는 AI 모델에 의존하게 됩니다. 문제는 이 기술이 예측할 수 없는 속도로 발전한다는 것이죠.

1년에 최소 두 번 이상 주요 모델 업데이트가 이루어집니다. 이런 환경에서는 몇 주 동안 열심히 개발한 기능이 다음 AI 모델 출시와 함께 자동화되어 무용지물이 될 위험이 항상 존재합니다.

여기에 고품질의 API와 최신 대규모 언어 모델에 모두가 접근할 수 있기 때문에, 아무리 혁신적인 제품 아이디어라도 누구나 쉽게 구현할 수 있다는 문제가 있습니다.

회의 내용을 AI가 실시간으로 받아적고 자동 요약 노트를 만들어주는 스타트업 Granola의 CEO인 Chris Pedregal은 이런 환경에서 성공적인 AI 제품을 만들기 위한 4가지 핵심 원칙을 제시합니다.

1. 곧 사라질 문제는 건드리지 않는다

LLM(대규모 언어 모델)은 역사상 가장 빠르게 발전하는 기술 중 하나입니다. 불과 2년 전만 해도 ChatGPT는 이미지를 처리하거나, 복잡한 수학 문제를 해결하거나, 정교한 코드를 생성하는 일을 할 수 없었습니다. 하지만 오늘날의 LLM에게는 이런 작업이 쉬운 일이 됐죠.

이런 상황에서 AI 애플리케이션 레이어를 개발한다면, 잘못된 문제에 시간을 낭비할 위험이 큽니다. 특히 다음 GPT 버전이 출시되면 자연스럽게 해결될 문제들에 말이죠.

Granola의 초기 버전을 예로 들어보겠습니다. 첫 출시 당시 Granola는 30분 이상의 회의를 처리할 수 없었습니다. 당시 최고의 모델이었던 OpenAI의 DaVinci는 4,000 토큰이라는 제한된 컨텍스트 창을 가지고 있었기 때문이죠.

일반적인 상황이라면, 이 시간 제한을 늘리는 것이 최우선 과제였을 겁니다. 짧은 회의만 처리할 수 있는 회의 노트 도구를 누가 사용하겠습니까? 하지만 Granola 팀은 LLM이 더 똑똑해지고, 빨라지고, 저렴해지며, 더 긴 컨텍스트 창을 갖게 될 것이라는 가설을 세웠습니다.

그래서 그들은 컨텍스트 창 제한을 해결하는 데 시간을 쓰지 않고, 대신 노트의 품질을 향상시키는 데 집중했습니다. 한동안 회의 시간 제한에 불만을 제기하는 사용자들의 요구를 의도적으로 무시해야 했지만, 그들의 가설은 맞았습니다.

몇 달 후, 컨텍스트 창은 자연스럽게 길어져 더 긴 회의도 처리할 수 있게 되었습니다. 만약 그 문제 해결에 시간을 썼다면, 모두 낭비되었을 것입니다.

2. 높은 한계비용을 기회로 활용한다

역사적으로 소프트웨어의 가장 큰 특징 중 하나는 추가 사용자를 지원하는 한계 비용이 거의 0에 가깝다는 것이었습니다. 10,000명의 사용자가 사용하는 제품이 있다면, 백만 명의 사용자를 지원하는 데 그렇게 많은 추가 비용이 들지 않았죠.

하지만 AI에서는 이 원칙이 통하지 않습니다. 추가 사용자마다 한계 비용이 동일하게 유지되며, 최첨단 AI 모델을 운영하는 비용은 상당히 높습니다. 예를 들어, 30분 회의 오디오를 OpenAI의 GPT4o 오디오 모델에 보내는 비용은 약 4달러입니다. 이 비용이 매일 수천 명의 사용자에게 확장된다고 상상해 보세요.

또한 스타트업이 온보딩할 수 있는 사용자 수에도 제한이 있습니다. 세계의 모든 돈을 가지고 있다 해도, OpenAI와 Anthropic은 수백만 명의 사용자를 위한 최첨단 모델을 지원할 만큼 충분한 컴퓨팅 능력을 보유하고 있지 않습니다.

이제 처음으로, 수백만 명의 사용자보다 소수의 사용자에게 더 나은 제품 경험을 제공하는 것이 가능해졌습니다. 이것은 장애물이 아니라 스타트업에게 큰 기회입니다. 수백만 명의 사용자를 가진 대기업은 세계에 충분한 컴퓨팅 능력이 없기 때문에 당신과 경쟁할 수 없습니다.

스타트업으로서 여러분은 각 사용자에게 페라리 수준의 제품 경험을 제공할 수 있습니다. 가장 비싸고 최첨단 모델을 사용하세요. 비용 최적화에 대해 걱정하지 마세요. 제품 경험을 향상시키기 위해 5개의 추가 API 호출이 필요하다면, 해보세요.

사용자당 비용이 비싸더라도, 처음에는 많은 사용자가 없을 것입니다. 그리고 기억하세요:

Google 같은 회사들은 기껏해야 그들의 사용자에게 혼다 수준의 제품 경험을 제공할 수 있을 뿐입니다.

여러분의 사용자 기반이 기하급수적으로 성장하더라도, AI 추론 비용은 기하급수적으로 감소하고 있습니다. 오늘날의 최첨단 모델은 1-2년 내에 저렴한 상품이 될 것입니다. 오늘의 페라리는 내일의 혼다입니다. 가능한 동안 페라리가 되세요.

3. 컨텍스트(맥락)가 왕이다

Granola가 처음 회의 노트 생성을 위한 프롬프트를 작성할 때, 단계별 지침을 제공하는 방식이 실제로는 잘 작동하지 않는다는 것을 빠르게 깨달았습니다.

현실 세계는 복잡하고, LLM이 마주할 수 있는 모든 상황에 대한 규칙을 예측하고 작성하는 것은 거의 불가능합니다. 설령 모든 시나리오를 다루더라도, 충돌하는 지침이 생길 수밖에 없습니다.

그들은 중요한 통찰을 얻었습니다: AI 모델을 단순히 지시를 따르는 것으로 취급하는 대신, 첫날 출근한 인턴처럼 생각해야 합니다. 인턴은 똑똑하지만 무엇을 해야 하고 어떻게 해야 하는지에 대한 맥락이 부족합니다. 인턴의 성공 열쇠는 그들이 당신처럼 생각할 수 있도록 필요한 맥락을 제공하는 것입니다.

이제 Granola는 프롬프팅에 이런 접근 방식을 취합니다. 모델의 사고를 유도할 맥락을 신중하게 제공합니다. Granola의 경우, 사용 사례는 회의에서 훌륭한 노트를 작성하는 것입니다. 맥락은 회의에 누가 참석했는지, 왜 논의되는지를 이해하는 것입니다.

그들의 작업은 그 정보를 웹과 다른 소스에서 찾아내고, 모델이 당신처럼 생각하도록 하는 것입니다. (회의에서 무엇을 얻으려고 하는지? 장기적인 목표는 무엇이고 이 회의가 그것에 어떻게 기여하는지?) 그리고 관련 정보만 노트에 포함시키는 것입니다.

모델이 아무리 좋아져도, 여러분이 제공하는 맥락은 항상 중요할 것입니다.

4. 좁고 깊게 파고든다

오늘날 AI 제품을 구축할 때 직면하는 흥미로운 도전 중 하나는 ChatGPT와 Claude 같은 범용 AI 어시스턴트와 경쟁한다는 것입니다.

이들은 대부분의 작업에서 상당히 뛰어납니다. 그렇다면 사용자가 이러한 만능 도구 대신 여러분의 제품을 선택할 만큼 충분히 좋은 것을 어떻게 만들 수 있을까요?

유일한 답은 정말 좁은 영역에 집중하는 것입니다. 매우 구체적인 사용 사례를 선택하고 그것에서 탁월해지세요. 스타트업의 기본 원칙인 “사람들이 원하는 것을 만들라”는 AI에서도 일관되게 적용되지만, 기준이 더 높습니다.

그러나 여기에 반전이 있습니다: 좁은 사용 사례에 대한 탁월한 경험은 종종 AI와 거의 관련이 없습니다. Granola는 노트 품질에 끝없는 시간을 투자하지만, 원활한 회의 알림이나 훌륭한 에코 제거(헤드폰을 사용하든 아니든 도구가 작동하도록) 같은 기능에도 똑같이 많은 시간을 투자합니다.

AI 주변의 “래퍼”는 종종 즐거운 경험과 사용하기 실망스러운 훌륭한 데모 사이의 차이입니다. 좁은 영역에 집중하면 제품의 AI 부분을 개선하기도 쉬워집니다. AI가 응답을 올바르게 할 때, 그것은 마법 같습니다. 하지만 잘못될 때는 이상하고 불편한 방식으로 그렇게 됩니다.

인간이 아닌 알고리즘과 대화하고 있다는 것이 명백해집니다. 불쾌한 골짜기에 빠지는 제품 경험은 사용자를 영원히 제품에서 멀어지게 할 수 있습니다. 좁은 영역에 집중할 때, 가장 흔한 AI 실패 사례를 식별하고 완화하거나 더 우아하게 실패하는 방법을 찾기가 훨씬 쉬워집니다.

기본 원칙은 변하지 않는다

생성형 AI를 구축하는 것은 전통적인 기술이 걷는 속도로 움직이는 동안 러닝머신에서 달리는 것과 같습니다. 이 속도는 여러분이 다루는 기술적 문제부터 규모에 도달하기 위한 타임라인까지 모든 것에 영향을 미칩니다.

이러한 가속이 여러분의 전략을 바꿔야 하지만, 좋은 제품을 만드는 기본 원칙은 바꾸지 않습니다. 여러분은 여전히 사람들이 원하는 것을 만들어야 합니다. 지름길은 없습니다. 여전히 세부 사항에 신경을 써야 합니다. 그리고 가장 명확한 질문은 여전히 놀라울 정도로 단순합니다:

이 제품을 사용할 때 어떤 느낌이 드는가?

사라지지 않을 문제, 깊이 있는 사용자 경험, 그리고 맥락 설계에 역량을 집중할 때 진정으로 유용한 AI 제품이 탄생합니다.