방금 읽은 책 내용이 머릿속에서 스르륵 사라질 때, 회의에서 나온 얘기가 도무지 기억나지 않을 때, 우리는 기억력 나쁜 자신을 탓한다. 그런데 전 테슬라 AI 디렉터이자 OpenAI 창립 멤버인 안드레이 카파시는 정반대로 말한다. 나쁜 기억력이야말로 진짜 지능의 핵심 기능이라는 거다. 위로처럼 들리지만 아니다. AI와 인간 지능의 본질을 건드리는 통찰이고, 나쁜 기억력 지능의 역설은 우리가 ‘똑똑함’에 대해 가진 상식을 뒤집는다.
세 살 아이가 최고의 AI보다 빨리 배우는 이유
거대 언어 모델은 위키피디아를 토씨 하나 안 틀리고 외운다. 수백만 문장을 정확히 기억하고 필요할 때 그대로 꺼낸다. 인간은 못 따라간다. 무작위 숫자 열 개도 한 번 보고 외우기 힘드니까. 그런데 카파시는 여기서 묘한 질문을 던진다. 그럼 왜 세 살짜리 아이가 최고 성능 AI보다 세상을 더 빨리, 더 깊이 이해할까.
아이는 우리가 아는 최고의 학습자다. 그런데 정작 어린 시절의 구체적인 사건은 거의 기억하지 못한다. 마치 계속 잊어버리는 기억상실증 환자 같다. 그러면서도 언어를 빨아들이고, 물리 법칙을 감각하고, 사람 사이의 관계를 파악한다.
역설의 핵심은 나무가 아니라 숲을 본다는 데 있다. 아이는 구체적인 정보를 잊는 대신, 세상이 돌아가는 일반적인 패턴을 뽑아낸다. “사과가 떨어졌다”는 사건 하나를 외우는 게 아니라 “중력”이라는 원리를 배운다. 반대로 LLM의 완벽한 기억력은 이 추상화를 오히려 방해한다. 나무 하나하나가 너무 선명해서 숲 전체의 모양을 못 보는 거다.
나쁜 기억력 지능의 역설, 버그가 아니라 핵심 기능이다
카파시의 가장 중요한 통찰이 이거다. 인간의 나쁜 기억력은 결함이 아니라 핵심 기능이다. 진화가 준 선물이라는 거다. 컴퓨터로 치면 용량이 모자란 게 아니라, 일부러 용량을 비워 더 중요한 연산에 쓰는 설계에 가깝다.
왜 그럴까. 완벽하게 기억할 수 없으니 뇌는 어쩔 수 없이 정보를 압축하고 일반화한다. 세부를 다 저장 못 하니 핵심 패턴만 남긴다. 데이터 대신 원리를 잡는다. 고해상도 사진을 용량 때문에 압축하는 것과 비슷하다. 압축하면서 잡음은 날아가고 본질적인 형태만 남는다. 이 압축된 정보가 오히려 더 깊은 이해를 만든다.
예를 들어보자. 수학 문제 100개를 통째로 외우는 것과 수학 원리를 이해하는 것 중 뭐가 더 값질까. 100개 답을 완벽히 외운 AI는 101번째 새 문제 앞에서 멈춰버릴 수 있다. 원리를 이해한 사람은 처음 보는 문제도 푼다. 기억에 기댈 수 없으니 본질을 잡으려 애쓰고, 그 과정에서 진짜 지능이 나온다.
미래 AI의 청사진, 인지 핵
카파시는 이 통찰을 미래 AI 방향으로 밀고 나간다. AI에서 방대한 기억을 떼어내고 순수한 사고 알고리즘만 남기는 ‘인지 핵(Cognitive Core)’ 개념이다. 이런 AI는 사실을 암기하는 대신 필요할 때마다 외부에서 검색한다. 우리가 다 외우지 않고 필요할 때 구글이나 책을 찾는 것처럼. 과거 학습 데이터의 기억에 발목 잡히지 않고 일반화 가능한 사고에만 집중하게 만드는 거다.
이건 그냥 비유가 아니다. 카파시는 직접 X에 인지 핵을 정의하면서, 백과사전적 지식을 최대한 희생하고 능력만 남긴 수십억 파라미터짜리 모델이 모든 컴퓨터에 상주하는 그림을 그렸다. 더 직설적인 말도 했다. LessWrong에 정리된 그의 발언을 보면, 지금 LLM은 똑똑해야 하는 동시에 인터넷을 통째로 외워야 하는 이중 부담을 진다. 그래서 추론하고 계획하고 일반화하는 진짜 지능이 산만해진다. “지식이나 기억이 더 적었다면 오히려 더 나았을지 모른다”는 거다.
2026년 들어 이 방향은 더 구체화됐다. 카파시가 공개한 LLM Wiki 패턴은 지식 관리를 코드 컴파일처럼 다룬다. 새 자료가 들어오면 모델이 읽고, 핵심을 뽑고, 기존 위키에 통합하면서 엔티티 페이지를 갱신하고 낡은 주장과 충돌하는 지점을 표시한다. 기억을 머리에 쌓는 게 아니라, 사서처럼 찾고 연결하는 능력에 무게를 둔 설계다.
이 그림은 우리가 일하는 방식과 닮았다. 작은 인지 핵이 사고를 맡고, 필요한 지식은 그때그때 끼워 넣는 ‘카트리지’처럼 불러온다. 사람으로 치면 모든 걸 머리에 이고 다니는 대신, 잘 정리된 노트와 검색 능력을 갖춘 사람에 가깝다. 외울 건 줄이고 연결하는 힘을 키우는 쪽이다. 비슷한 결의 변화는 AI 시대 개발자가 무엇을 해야 하는가에서도 읽힌다. 코드를 다 외우는 게 아니라, 맥락을 설계하고 검증하는 쪽으로 역량의 무게가 옮겨간다.
잊는 능력이 인간을 지킨다
흥미로운 건, 잘 잊는 게 단점이 아니라는 통찰이 다른 AI 논의와도 맞닿는다는 점이다. AI가 모르는 걸 아는 척하지 않고 “모르겠다”고 말하는 게 더 중요하다는 AI 환각 해결의 핵심도, 결국 기억과 추측을 줄이고 검증에 집중하라는 같은 방향이다. AI에 과하게 기대다 오히려 이해도가 떨어진다는 METR 19% 역설도 마찬가지다. 정보를 많이 쥐는 것과 깊이 이해하는 건 다른 일이다.
그래서 카파시의 메시지는 명확하다. 진짜 지능은 얼마나 많이 기억하느냐가 아니라 얼마나 잘 일반화하느냐에 달렸다. 우리는 정보의 홍수 속에 산다. 매일 쏟아지는 뉴스와 데이터를 다 모으고 외우려 하고, 그게 똑똑함이라 착각한다. 북마크는 쌓이는데 정작 머리에 남는 원리는 줄어드는 경험, 다들 해봤을 거다. 하지만 AI 시대의 핵심은 정반대일지 모른다. 무엇을 기억할지보다 무엇을 잊을지가 더 중요해진다. 검색은 AI에게 맡기고, 사람은 맥락을 읽고 판단하는 쪽으로 무게를 옮기는 거다.
오늘 스스로에게 던질 질문
지금 한번 물어보자.
- 나는 정보를 모으는 데만 급급하지 않았나
- 진짜 통찰을 위해 무엇을 버리고 무엇에 집중해야 하나
- 내가 외운 지식과 진짜 이해한 원리는 각각 무엇인가
이 답을 찾는 과정이 AI 시대를 사는 우리에게 가장 중요한 지적 여정이 된다. 외운 것을 자랑하던 시대는 저물고, 무엇을 덜어내고 무엇에 집중할지를 아는 사람이 앞서가는 시대가 온다. AI에 더 잘 말 거는 법이 궁금하다면 프롬프트 엔지니어링 팁도 함께 보면 좋다. 완벽한 기억력을 가진 AI가 넘치는 세상에서, 오히려 잊어버리는 능력을 가진 인간의 가치가 더 빛난다. 기억은 도구에 맡기고, 사람은 그 위에서 더 멀리 생각하면 된다. 핵심은 정보의 양이 아니라 사고의 깊이다. 이게 카파시가 우리에게 건네는 AI 시대의 지혜다.
참고 자료: Andrej Karpathy, "Cognitive Core (X)"