작년 여름, MIT가 낸 한 장짜리 보고서가 실리콘밸리를 흔들었다.
엔터프라이즈 생성 AI 파일럿의 95%가 실패한다.
Fortune이 이 숫자를 헤드라인에 박은 뒤 거의 모든 미디어가 받아썼다(Fortune, 2025).
여기서 대부분의 독자는 “AI 거품이 끝났다”로 읽었다. 틀린 해석이다. 이 숫자는 기술의 문제가 아니라 조직의 문제를 가리킨다. 더 중요한 건, AI 프로젝트 95% 실패라는 통계 뒤에 정반대 뉴스가 숨어 있다는 것. 외부 벤더(스타트업) 솔루션을 구매한 기업의 성공률은 67%, 내부에서 직접 만든 경우는 33%였다(Masterofcode, 2026).
대기업이 못 만든 걸 누군가는 만들고 있다. 그 누군가가 바로 지금의 AI 스타트업이다.
MIT 연구가 실제로 말한 것
먼저 오해부터 정리하자. MIT 리포트가 “95%의 AI 모델이 고장났다”고 말한 적은 없다. 정확한 원문은 “95%의 파일럿이 측정 가능한 ROI를 만들지 못했다“이다(Trullion, 2026).
연구 표본은 이렇다.
- 리더 인터뷰 150건
- 직원 설문 350명
- 공개된 AI 배포 사례 300건
핵심 원인은 기술이 아니라 조직 학습 능력의 공백이었다. 기업이 프로세스·문화·업무흐름을 AI에 맞춰 재설계하지 못했다는 것. 실제로 2016년에도 일반 IT 전환 프로젝트 실패율은 84%였다. AI가 유난히 어려워서가 아니라 대기업이 원래부터 내부에서 뭘 만드는 데 약하다는 뜻이다.
왜 대기업은 AI를 내부에서 못 만드나
이 질문에 답이 있어야 스타트업의 자리가 보인다. 현장에서 반복적으로 드러난 세 가지 구조적 장벽을 정리했다.
1. 제품 개발 DNA 부재
엔터프라이즈 IT 조직은 구축·운영 중심이지 제품 개발 중심이 아니다. 여기에 전통적 컨설팅 펌을 붙이면 문제가 배가된다. 컨설팅 펌은 문서화엔 능숙하지만 작동하는 소프트웨어를 못 만든다. “파워포인트에서 제품이 되기까지” 다리를 건널 사람이 없다.
2. 조직 정치와 레거시 사일로
마케팅, 세일즈, IT, 컴플라이언스가 각자의 KPI로 싸우기 시작하면 솔루션은 타협의 덩어리가 된다. 레거시 시스템 소유권까지 얽히면 이 덩어리는 점점 더 무거워진다. MIT의 분석도 이 부분을 핵심 실패 요인으로 지목한다.
3. 내부 엔지니어의 회의주의
현장에서 가장 조용한 장벽이다. 사내 엔지니어들은 이미 자체 도구에 애착이 있고, AI 도구의 퀄리티를 과소평가한다. “이건 내가 주말에 더 잘 짤 수 있어”라는 생각이 보이지 않는 보이콧을 만든다. 이 상태에선 어떤 도구를 들여와도 성공하지 못한다.
성공한 5%는 누구인가 – 외부 벤더 성공률 67% vs 내부 33%
여기가 이 글의 핵심이다. 최근 데이터를 다시 보자.
- 외부 벤더 주도 프로젝트 성공률: 약 67%
- 내부 개발 프로젝트 성공률: 약 33%
- 하이브리드 접근을 선호하는 조직: 38%
- 벤더 중심으로 이동 중인 조직: 32%(Masterofcode, 2026)
즉, 엔터프라이즈는 이미 판단을 바꾸고 있다. “우리가 직접 만들겠다”에서 “잘 만드는 곳에서 사겠다”로. 이 전환이 AI 스타트업의 시장을 만든다.
실제로 성공한 스타트업의 공통점
MIT 케이스 스터디와 2026년 업계 리포트에서 반복해서 나오는 성공 사례들을 보면 패턴이 있다.
- Tactile: 글로벌 은행의 결제 의사결정 엔진. 수년간 내부 팀과 컨설팅 펌이 실패한 자리를 수개월 만에 대체
- Greenlight: 글로벌 컨설팅 펌이 1년 후 손뗀 프로젝트를 완성
- Castle AI: 레거시 은행 환경에서 12개월 안에 측정 가능한 성과 달성
- Reducto: FAANG 기업들이 내부 팀의 실패 후 런칭 154일 만에 계약 체결
공통점은 세 가지다. AI에 대한 깊은 기술 이해, 엔터프라이즈 UX에 대한 감각, 그리고 제품으로서 완결하려는 집착. 이 셋을 동시에 갖춘 팀이 시장에선 드물다. 바로 그 희소성이 가격이고 해자다.
스타트업이 엔터프라이즈 시장에서 이기기 위한 4가지 전략
이론으로는 기회가 보인다. 실행으로 넘어갈 때 작동하는 레버가 있다.
1. 내부 챔피언을 찾는다
엔터프라이즈에는 항상 “창업하고 싶지만 리스크를 못 지는 엔지니어”가 있다. 이들은 새로운 툴의 조기 도입자가 되는 것만으로도 사내 영향력을 키울 수 있다. 영업은 C레벨이 아니라 이 레이어에서 시작해야 빠르다.
2. 대기업 흉내를 내지 않는다
포멀한 계약서, 길고 복잡한 데모, “엔터프라이즈 그레이드”라는 단어를 남발하는 자료. 이것들은 스타트업을 대기업의 작은 복제품으로 만든다. 엔터프라이즈는 스타트업한테 대기업이 못 주는 걸 원한다. 속도, 직접성, 제품다움.
3. 제품의 완성도에 집착한다
엔터프라이즈 영업이 길어질수록 PPT가 두꺼워지는 실수가 흔하다. 하지만 CIO가 실제로 구매를 결정하는 순간은 제품을 켜본 직후다. PPT를 깎을 시간의 절반을 제품을 깎는 데 쓰는 팀이 이긴다.
4. 백오피스부터 친다
MIT 연구의 숨은 포인트. 생성 AI 예산의 절반 이상이 세일즈·마케팅 도구에 쓰이지만, 가장 큰 ROI는 백오피스 자동화에서 나온다(Trullion). 재무, 법무, HR, 컴플라이언스 같은 영역은 대기업 내부에서 가장 오래 방치된 곳이고, 그래서 외부 솔루션이 들어갈 자리가 넓다. 세일즈용 AI 툴보다 백오피스용 AI 툴의 경쟁이 훨씬 덜 치열하다.
한국 스타트업에 더 큰 기회인 이유
미국 리포트를 그대로 가져오면 한국 시장이 안 보인다. 한국 엔터프라이즈의 특수성 두 가지만 짚자.
- SI 중심 조직 관성: 국내 대기업 IT는 여전히 외주 SI에 크게 기댄다. SI가 AI 프로젝트에서 똑같이 실패한 경험이 2025~2026년에 누적되고 있다
- 컴플라이언스 강도: 금융, 의료, 통신은 규제 장벽이 높아 해외 SaaS가 그대로 들어오기 어렵다
이 두 조건의 교집합이 한국 AI 스타트업의 보호막이다. 해외 대형 벤더가 못 들어오는 버티컬에서 한국 조직 문화를 이해한 스타트업이 먼저 자리를 잡으면, 이후엔 글로벌 경쟁자가 따라붙기 어려운 구조가 만들어진다.
스타트업의 골든타임을 놓치지 않기 위해 읽어둘 글
- 엔터프라이즈 AI 투자 지도: AI 혁명의 진짜 승자는 누구인가: 왜 대기업이 흔들리는지
- AI 에이전트 프로젝트 500개 이상의 저장소 분석과 2026년 실무 적용 가이드: 산업별 AI 도입 현실
- 컨텍스트 엔지니어링 바이브 코딩 전환: AI 개발자가 알아야 할 구조 설계: 제품의 질을 결정하는 기술 전환
- AI 협업 최적화 전략: 컨텍스트 엔지니어링으로 성과 2배 만드는 법: 팀이 AI 도구를 쓰는 올바른 방식
5%는 운이 아니라 선택이다
MIT의 숫자가 던지는 메시지는 단순하다.
대기업은 AI를 내부에서 못 만든다. 그러니 누군가는 대신 만들어야 한다.
그 누군가가 될지 말지는 기술력만의 문제가 아니다. 대기업이 못 하는 세 가지 – 제품 DNA, 정치 없는 실행, 완성에 대한 집착 – 중 얼마나를 갖추느냐의 문제다.
오늘 당장 해볼 수 있는 한 가지. 지금 준비 중인 AI 제품의 “데모 시간 60초”를 다시 측정해보자. 60초 안에 진짜 문제를 보여주고, 진짜 해결책의 작동을 증명할 수 있는가? 여기서 답이 “아니오”라면 PPT 깎을 시간에 제품을 깎아야 한다.
5%는 통계가 아니라 선택이다.