여러분의 회사는 정말로 AI를 활용하고 있나요? 아니면 단순히 AI 도구를 사용하고 있을 뿐인가요? 이 질문의 답은 여러분이 생각하는 것보다 훨씬 더 중요한 의미를 담고 있습니다.
20년 경력의 IT 컨설턴트이자 풀스택 개발자인 오렉산드르 쿠체렌코가 최근 발표한 분석에 따르면, 대부분의 기업들이 AI의 진정한 잠재력을 활용하지 못하는 핵심적인 이유가 있다고 합니다. 바로 ‘왜(Why)’를 체계적으로 보존하지 못하고 있기 때문입니다.
우리가 잃어버린 가장 소중한 것: 의사결정의 이유
침묵의 부식이 진행되고 있다
여러분의 회사에서 6개월 전에 내린 중요한 기술적 결정이 있다고 가정해보세요. 그 결정을 내린 담당자가 퇴사했다면? 그 결정의 배경과 이유를 정확히 아는 사람이 과연 몇 명이나 될까요?
현대 기업의 개발 프로세스는 축소의 논리에 기반해 있습니다. 비즈니스 목표에서 OKR로, 사용자 스토리에서 구체적인 작업으로 이어지는 과정에서 핵심적인 맥락과 의사결정의 이유는 점차 사라집니다. 개발자에게 전달되는 것은 ‘무엇을 해야 하는가’와 ‘결과를 어떻게 측정할 것인가’뿐입니다.
쿠체렌코는 이를 “모든 로드맵, 제품 사양서, 그리고 지라 백로그의 중심에서 조용히 진행되는 침묵의 부식”이라고 표현합니다. 우리는 실행 속도는 최적화했지만, 결정의 명확성은 놓쳤습니다.
조직 내 암묵지의 함정
대부분의 조직이 의존하고 있는 것은 지능 시스템이 아닌 ‘직관 시스템’입니다. 이는 다음과 같은 요소들로 구성된 취약한 거미줄과 같습니다:
- 핵심 인물들의 기억에 의존하는 의사결정 과정
- Slack 대화에 흩어져 있는 중요한 정보
- 문서화되지 않은 아키텍처 결정들
- “그건 그냥 저 사람이 알아서 해”라는 식의 지식 관리
문제는 이런 조직 내 암묵지는 확장되지 않고, 시뮬레이션할 수도 없으며, 스스로 최적화되지도 않는다는 것입니다.
AI가 바꾸는 게임의 룰
작업 기반에서 이유 기반으로
여기서 모든 것이 뒤바뀝니다. AI는 작업을 기반으로 성장하지 않습니다. AI는 이유를 기반으로 작동합니다.
전통적인 소프트웨어 개발 방식에서는 비즈니스 요구사항이 기술적 구현으로 흘러내려갑니다. 하지만 AI는 반대로 작동합니다. 명확한 목적과 의사결정의 근거, 트레이드오프에 대한 이해가 주어지면, AI는 다음을 수행할 수 있습니다:
- 사용자 스토리 생성
- OKR 정의
- 기능 및 비기능 요구사항 모델링
- 최적의 구현 경로 제안
이것은 소프트웨어 개발 방식의 완전한 전환을 의미합니다. ‘왜’는 더 이상 선택사항이 아니라 새로운 소스코드가 되었습니다.
지식 아키텍처의 중요성
쿠체렌코는 이를 단순한 데이터 문제가 아닌 ‘지식 아키텍처의 문제’라고 진단합니다. AI가 실행을 엄청난 속도로 확장할 수 있지만, 그 기반이 되는 명확하고 일관된 이유가 있을 때만 가능하기 때문입니다.
잃어버린 논리를 되찾는 실전 전략
1. 시스템을 지식의 원천으로 바라보기
모든 조직 내 시스템을 단순한 실행 도구가 아닌 지식의 잠재적 원천으로 간주해야 합니다:
- Jira: 단순한 작업 추적 도구가 아닌, 프로젝트 구조와 과거 변화 방향의 기록
- Git: 단순한 코드 저장소가 아닌, 아키텍처 결정의 타임라인
- Confluence: 단순한 문서 저장소가 아닌, 진화하는 논리와 목표의 기록
- CRM, 지원 티켓, 채팅 로그: 모든 것이 의사결정의 신호
핵심은 이 모든 시스템을 지식 고고학의 유물로 다루는 것입니다. 각 시스템에는 의사결정의 조각들이 숨어 있으며, 이를 모아 재구성하는 것이 우리의 역할입니다.
2. 하이브리드 접근법의 활용
현실적인 해결책은 다음과 같은 하이브리드 접근법입니다:
- 현재 상태부터 시작: 기존 정보를 요약하고 범주화하며 ‘이유’를 소급 적용
- 시간을 거슬러 올라가기: 커밋과 티켓을 따라가며 각 지점에서의 ‘왜’를 추출
- AI 활용: 목표 변화, 지표 무의미화, 구현과 의도의 불일치 시점 등 전환점 식별
이 과정은 선형적이지 않습니다. 거친 지도를 정제해 나가는 순환적 흐름으로 진행됩니다.
Slack을 지식 파이프라인으로 전환하기
디지털 신경망의 구조화
Slack이나 Discord 같은 협업 도구는 현대 기업의 디지털 신경망 역할을 합니다. 모든 의사결정, 토론, 확인, 리스크, 인사이트가 이 시스템을 통해 흘러갑니다.
하지만 동시에 지식이 사라지는 곳이기도 합니다. 스레드는 흘러가고, 맥락은 묻히며, 핵심적인 인사이트는 다음 스프린트가 시작되면 잊혀집니다.
인간 주도의 큐레이션 시스템
AI 기술이 아무리 발전해도, 맥락과 중요도를 가장 잘 판단하는 것은 여전히 사람입니다. Slack 안에서 팀에게 다음과 같은 기능을 제공하세요:
- 대화 중 핵심 인사이트 강조
- 의사결정, 리스크, 질문에 주석 달기
- 불분명한 이유나 모순된 메시지 표시
- 목적별 태그 달기 (“의사결정”, “열린 질문”, “고객 피드백” 등)
이는 추가 업무가 아닌 조직의 사고에 메타데이터를 실시간으로 붙이는 행위입니다.
맥락화를 위한 분류 체계
모든 Slack 콘텐츠가 똑같이 중요한 것은 아닙니다. 대화가 발생하는 순간부터 내용을 분류해야 합니다:
- 개인적인 맥락: 개인적인 설명, 1:1 교환
- 비즈니스 관련: 제품 목표, 핵심 지표, OKR 정렬
- 팀 운영: 일정 계획, 장애물, 진행 상황 공유
- 새로운 발견: 예기치 못한 이슈, 인사이트, 고객 피드백
- 즉흥적인 결정: “일단 옵션 B로 가자” – 이런 것도 반드시 추적되어야 함
살아있는 기억 시스템 구축하기
RAG에서 추론으로의 진화
단순한 로그나 문서가 아닌, 지속적으로 축적되고 적응하며 반영하는 살아있는 시스템이 필요합니다. 이 시스템은 왜 그 결정을 내렸는지 기억하고, 그 결정이 어떻게 작동했는지 추적하며, 지속할지 방향을 틀지 판단하는 데 도움을 줍니다.
지식의 원자화
모든 메모리 시스템의 핵심은 세분화입니다. 페이지 전체가 아니라 ‘생각(thought)’을 저장해야 합니다:
- 하나의 결정과 그에 대한 이유
- 핵심 인사이트와 이를 뒷받침하는 맥락
- 제기된 질문과 그 뒤에 깔린 가정들
- 왜, 언제 중요했는지를 포함한 교훈
세분화는 기억을 지능으로 전환하는 열쇠입니다.
확인과 예외의 추적
시스템은 단지 무엇이 결정되었는지만 기록해서는 안 됩니다. 그 결정이 유효했는지 여부까지 추적해야 합니다:
- 확인(Confirmations): 결과가 기대와 일치했던 경우
- 예외(Exceptions): 결정이 문제를 유발했거나 실패한 경우
시간이 지남에 따라 이러한 누적은 특정 논리의 성과 프로파일을 형성합니다. 예외가 확인보다 빠르게 쌓인다면, 처음의 논리가 더 이상 유효하지 않을 수 있다는 신호입니다.
자각하는 시스템을 향한 여정
조직적 자기 인식의 구현
원자화된 지식, 성과 추적, 실시간 모니터링이 결합되면, 시스템은 일종의 조직적 자기 인식을 갖추게 됩니다:
- 자신이 무엇을 알고 있는지
- 왜 그것을 알고 있는지
- 그 논리가 언제 성공했는지
- 어디서부터 실패하기 시작했는지
- 다음에 무엇을 의심해야 하는지
지능의 방향성
이것이 바로 지능이 단순한 인프라를 넘어서는 방식입니다. 지능이 방향성을 가지는 방식이죠. 우리가 AI에게 원하는 것은 단순히 더 빠른 사고가 아니라 더 깊고 비판적인 사고이며, 우리가 그렇게 사고할 수 있도록 돕는 것입니다.
실천을 위한 로드맵
즉시 시작할 수 있는 단계들
- AI 모델에게 이 글을 OKR, 사용자 스토리, 요구사항 세트로 변환 요청
- RAG 및 메모리 시스템을 위한 기술 스택 선택
- 대화에서 정보를 수집하는 Slack 봇 구현
- 현재 시스템을 MCP 서버로 전환하는 방법 고민
경쟁 우위의 새로운 차원
오늘날 조직의 지식을 체계화하는 기업들은 단순히 더 빠르게 움직이는 데 그치지 않을 것입니다. 더 깊이 사고하고, 더 빠르게 적응하며, 더 혁신적인 결정을 내릴 수 있는 경쟁 우위를 얻게 될 것입니다.
지능형 조직의 미래
우리는 수십 년 동안 실행만 하고 거의 질문하지 않는 시스템을 구축해 왔습니다. 데이터를 저장하지만 맥락은 잃어버리고, 무엇을 하는지는 추적하지만 애초에 왜 시작했는지는 잊어버리는 시스템을 말입니다.
AI의 등장과 함께 이 모든 것이 바뀌어야 합니다. 목표는 단순한 문서화나 데이터의 중앙화가 아닙니다. 진짜 목표는 지능(intelligence)입니다. 시스템의 모든 구성 요소가 ‘무엇을 하고 있는지’, ‘왜 하고 있는지’, 그리고 ‘지금도 여전히 잘 작동하고 있는지’를 이해하는 운영 모델을 만드는 것입니다.
이러한 전환 속에서 AI는 단순한 도구가 아닌, 사고하는 파트너가 됩니다. 그리고 이 변화를 먼저 받아들이는 조직들이 다음 시대의 승자가 될 것입니다.
여러분의 조직은 준비되어 있나요?
참고 자료: Oleksandr Kucherenko, “The Hidden Layer of AI That Most Teams Overlook”