ChatGPT가 나온 지 3년이 넘었다. 그런데 솔직히 물어보자. 우리 회사는 AI로 정말 달라졌나? “엄청난 변화”보다 “그럭저럭 쓴다” 쪽이 더 솔직한 답일 거다. 돈은 분명 들어갔는데 숫자로 잡히는 성과가 없다. 이게 바로 지금 모두가 겪는 AI 도입 생산성 역설이다.
규모부터 보자. 기업들은 생성형 AI에 300억~400억 달러를 투입했다. 그런데 측정 가능한 손익 효과를 낸 곳은 5%에 불과하다. 나머지 95%는 파일럿 단계에 갇혀 있다. MIT NANDA가 2025년 발표한 보고서가 짚은 GenAI Divide의 핵심이다. 더 흥미로운 건 이 현상이 처음이 아니라는 점이다.
솔로우 역설, 30년 만에 옷을 갈아입다
1987년 노벨경제학상 수상자 로버트 솔로우는 이런 말을 남겼다. “컴퓨터는 어디에서나 보이는데, 생산성 통계에서는 보이지 않는다.” 기업이 IT에 천문학적인 돈을 쏟던 시절, 정작 생산성 지표는 꿈쩍도 안 했다. 경제학자들은 이걸 ‘생산성 역설’이라 불렀다.
원인은 단순했다. 컴퓨터를 책상에 올린다고 일이 빨라지진 않는다. 조직 구조를 바꾸고, 업무 흐름을 다시 짜고, 사람들이 새 방식에 익숙해져야 했다. 경제학자 에릭 브린욜프슨은 이걸 ‘J-커브’로 정리했다. 새 기술이 들어오면 적응 비용 때문에 생산성이 먼저 떨어지고, 보완재가 갖춰진 뒤에야 위로 솟는다는 곡선이다.
2026년 지금, 같은 곡선이 다시 그려지고 있다. 컴퓨터 자리에 AI가 들어왔을 뿐이다. 기술은 충분히 강력한데, 그 기술을 둘러싼 조직과 프로세스가 따라오지 못한다. 역설은 사라진 게 아니라 옷만 갈아입었다.
왜 95%는 벽을 못 넘을까
MIT 연구진은 52개 조직 심층 인터뷰, 153명 경영진 설문, 300개 넘는 AI 프로젝트를 뜯어봤다. 그리고 성공하는 5%와 갇혀 있는 95% 사이의 간극, GenAI Divide를 그렸다. 벽의 정체는 세 가지다.
학습하지 못하는 도구
첫째는 학습 격차다. 기업이 도입한 AI는 대부분 정적이다. 사용자 피드백을 쌓지도, 맥락을 기억하지도, 시간이 지나도 똑똑해지지도 않는다. 처음 세팅된 그대로 정해진 답만 반복한다.
직원들의 반응이 이걸 정확히 드러낸다. 개인적으로는 ChatGPT를 매일 쓰면서도, 회사가 깔아 준 엔터프라이즈 AI는 “못 믿겠다”고 한다. 같은 기술인데 왜 다를까. 소비자용 AI는 계속 진화하며 내 맥락을 읽는데, 사내 도구는 박제된 상태이기 때문이다. 그러니 중요한 일은 여전히 사람 손으로 돌아간다.
데모는 화려한데 현장에서 무너진다
둘째는 통합의 벽이다. 사내 커스텀 AI 중 실제 프로덕션까지 안착하는 비율은 5% 수준이다. 60%가 평가까지, 20%가 파일럿까지 가지만, 전사 배포는 극소수다.
이유는 인프라도 규제도 아니다. “도구가 우리 일하는 방식과 안 맞는다”는 것이다. 데모는 깔끔하게 잘 돌아간다. 하지만 실제 업무의 복잡한 권한 구조, 낡은 레거시 시스템, 부서 간 협업 방식과 맞물리는 순간 곧바로 어긋난다. 결국 “좋긴 한데 우리한텐 안 맞아”라는 말과 함께 프로젝트는 조용히 종료된다.
그림자 AI라는 힌트
셋째는 그림자 AI다. 공식 도구가 답답하니 직원들은 개인 계정으로 ChatGPT나 Claude를 몰래 쓴다. 조사 기업의 90% 이상에서 직원이 개인 AI를 일상적으로 쓰지만, 공식적으로 LLM을 구독하는 기업은 40%뿐이었다.
이건 단순한 일탈이 아니라 신호다. 직원들이 진짜 원하는 도구가 무엇인지 보여 주는 대규모 사용자 리서치인 셈이다. 유연하고, 직관적이고, 실제 업무 흐름에 자연스럽게 녹아드는 것. 회사가 못 준 걸 직원들이 스스로 찾아 쓰는 것이다.
AI 도입 생산성 역설, 2026년엔 격차가 더 벌어졌다
여기서 끝이면 그나마 다행이다. 그런데 2026년 데이터는 격차가 더 벌어졌다고 말한다. 딜로이트의 2026 엔터프라이즈 AI 현황 보고서에 따르면 AI 도입 과정에서 어려움을 겪는다는 조직 비율은 1년 새 두 자릿수로 늘었다. 한편 AI로 보강된 직무의 평균 생산성은 37% 올랐고, 전통적 자동화의 12%를 크게 앞선다. ‘AI 슈퍼유저’는 5배까지 효율을 끌어올린다는 분석도 있다.
문제는 이 개인 단위의 성과가 조직 단위 성과로 번지지 못한다는 데 있다. 벤처캐피털 a16z가 정리한 기업의 실제 AI 도입 현황도 같은 그림을 그린다. 잘 쓰는 사람은 폭발적으로 잘 쓰는데, 그 효과가 회사 전체 손익으로 연결되는 다리가 없다. 개인의 5배가 조직의 0%로 흡수되는 구조, 그게 지금의 AI 도입 생산성 역설이다.
흥미로운 통찰이 하나 더 있다. 많은 기업이 마케팅·세일즈처럼 눈에 띄는 영역에 AI를 먼저 넣는다. 그런데 MIT는 진짜 ROI가 재무·조달·운영 같은 백오피스에서 더 크다고 지적한다. 데이터가 풍부하고 규칙이 명확한 곳에서 잘 설계된 에이전트가 곧바로 비용 절감으로 이어지기 때문이다. 화려한 곳이 아니라 지루한 곳에 답이 있었던 셈이다.
5%가 되기 위한 다섯 가지 전략
그렇다면 어떻게 해야 5% 안에 들 수 있을까. MIT 연구는 외부 전문 벤더와 파트너십을 맺은 경우 성공률이 약 67%인 반면, 내부 자체 개발은 그 3분의 1 수준이라고 밝혔다. 핵심은 ‘도구’가 아니라 ‘설계’다.
- 학습하는 시스템을 만든다. 프롬프트 넣고 텍스트 받는 수준을 넘어, 사용 로그와 피드백을 구조화해 시간이 갈수록 똑똑해지는 살아 있는 시스템을 목표로 한다.
- 워크플로에 깊이 박는다. UX의 화려함보다 “실제 프로덕션에서 안 떨어지는 것”이 먼저다. 특정 직무의 권한 구조와 컴플라이언스까지 파고들어야 한다.
- 그림자 AI를 자산으로 본다. 직원들이 어떤 도구와 프롬프트 조합을 쓰는지 관찰하면, 공식 도구가 놓친 진짜 니즈가 보인다.
- 백오피스부터 시작한다. 눈에 띄는 영역이 아니라, 규칙 기반 업무가 많은 곳에서 ROI를 먼저 확보한다.
- 벤더를 파트너로 대한다. 소프트웨어 판매자가 아니라 성과를 함께 책임지는 BPO 파트너처럼 다룰 때 장기 경쟁력이 생긴다.
이 다섯 가지를 관통하는 한 문장이 있다. 기술을 사는 게 아니라 조직을 바꾸는 일이라는 것. 같은 맥락에서 성공한 5%와 실패한 95%의 차이를 다룬 글, 그리고 사람을 늘리지 않고도 성장한 작지만 강한 기업의 방법을 함께 보면 그림이 더 선명해진다.
역설은 끝나지 않았다, 형태만 바뀌었다
생산성 역설은 여전히 유효하다. 다만 부족한 보완재의 위치가 바뀌었다. 과거엔 조직 개편과 업무 재설계, 직원 교육이 핵심이었다. 지금은 거기에 더해 제품 내부의 학습·메모리, 그리고 기업 내부의 서비스형 구매와 결과 중심 KPI가 필요하다.
AI는 이제 알려 주는 도구에서 대신 일하는 도구로 넘어가고 있다. 그 흐름 속에서 AI 코딩 생산성에 대한 착각처럼, 도구만 쥐여 주면 생산성이 오를 거라는 환상은 데이터 앞에서 자주 깨진다. 멋진 데모를 지속 가능한 경쟁 우위로 바꾸는 건, 결국 두 층위를 동시에 설계하는 소수의 기업이다.
질문은 하나로 좁혀진다. 우리 회사는 GenAI Divide의 어느 쪽에 서 있나. 그리고 나는 AI 시대에 어떤 역량을 키우고 있나. 답은 지금 내리는 선택에 달려 있다.
체크리스트: 우리 회사의 AI 도입은 제대로 가고 있나
- AI 시스템이 사용자 피드백을 학습하며 시간이 지나면서 개선되는가
- 파일럿이 90일 안에 전사 배포로 전환되는가
- 직원들이 공식 도구보다 개인 ChatGPT를 더 선호하지는 않는가
- AI 투자가 매출 증가나 비용 절감으로 측정되고 있는가
- 백오피스 같은 고ROI 영역에 먼저 적용했는가
다섯 개 중 셋 이상 “아니오”라면, 지금 95%의 그룹에 속해 있을 가능성이 높다.