챗GPT를 켜고 질문 하나를 붙여넣는다. 그럴듯한 답이 나온다. 복사해서 보고서에 옮기고, 다음 일로 넘어간다. 익숙한 장면이다. 그런데 여기서 묘한 일이 벌어진다. AI를 쓰면 쓸수록 우리는 일을 더 잘하고 있다고 느낀다. 문제는 그 느낌이 실제 실력과 점점 어긋난다는 거다. 이게 바로 AI 과신 효과다.
핀란드 알토대학교 로빈 벨시 교수 연구팀이 500명을 대상으로 이걸 실험했다. 절반은 챗GPT를 쓰고, 절반은 맨손으로 미국 로스쿨 입학시험(LSAT)의 논리 추론 문제를 풀게 했다. 자기 성과를 정확히 맞히면 보상을 주겠다고도 했다. 정확히 평가할 동기를 준 셈이다. 그런데 결과가 뒤집혔다. AI를 쓴 사람들은 능력과 상관없이 자기 점수를 과대평가했다. 더 흥미로운 건 따로 있다.
더닝-크루거 효과가 거꾸로 뒤집혔다
원래 더닝-크루거 효과는 이렇게 작동한다. 실력이 없는 사람일수록 자기를 과대평가하고, 진짜 전문가는 오히려 자신을 낮춘다. 우리말로 “빈 수레가 요란하다”는 그 얘기다. 보통은 경험이 쌓일수록 자기 한계를 더 잘 안다.
AI 앞에서는 이 법칙이 무너진다. 알토대 연구에서 AI를 능숙하게 다룬다고 답한 사람일수록 자기 성과를 더 심하게 부풀렸다. 초보보다 ‘AI 좀 쓴다’는 사람이 더 크게 착각했다는 뜻이다. 위 그래프처럼 AI 사용이 늘수록 자신감 곡선은 위로, 자기 평가의 정확도는 아래로 갈라진다. 자신감과 실제 능력이 반대 방향으로 벌어지는 것, 이것이 AI 과신 효과의 핵심이다.
AI 과신 효과는 왜 생길까
답을 받는 방식에 답이 있다. 연구팀이 관찰해 보니, 대부분의 사람은 한 문제에 프롬프트를 딱 한 번만 썼다. 질문을 복사해 붙여넣고, 나온 답을 확인도 재검토도 없이 그대로 받아들였다. 이걸 인지적 오프로딩이라고 부른다. 생각의 짐을 AI에 떠넘기는 거다. AI가 대신 생각해 주니, 나는 더 깊이 고민할 이유가 없어진다. 한 번 떠넘기기 시작하면 멈추기 어렵다. 손이 편해질수록 머리는 게을러지고, 게을러진 머리는 자기가 게을러졌다는 사실조차 알아채지 못한다. AI 과신 효과가 무서운 건 바로 이 지점이다. 능력이 떨어지는데 자신감만 남으니, 스스로는 전혀 문제를 느끼지 못한다.
문제는 AI가 아직 틀린다는 데 있다. 사실을 지어내고, 그럴듯한 거짓을 섞고, 내 오해를 바로잡아 주지도 않는다. 그런데 검증 없이 받아들이면 그 오류가 고스란히 내 결과물이 된다. 익숙함이 만드는 착각은 운전과 닮았다. 오래 운전한 사람이 오히려 과속하고 끼어든다. 능숙하다는 자신감이 경계심을 갉아먹기 때문이다. AI에 대한 과도한 의존이 사고력을 어떻게 무디게 하는지는 AI 의존과 인지능력 약화에 대한 경고에서도 짚은 적 있다.
메타인지를 되찾는 5가지 습관
그렇다면 방법은 하나다. 메타인지, 즉 내 생각을 한 발 물러서서 바라보는 힘을 키우는 거다. 거창할 것 없다. 오늘부터 쓸 수 있는 체크리스트다.
- 더블 체크를 습관으로 만든다. 답을 받으면 “이게 틀렸다면 어디가 문제일까?”를 먼저 묻는다. 중요한 결정일수록 다른 프롬프트 두세 개로 교차 검증한다.
- AI에게 확신도를 물어본다. “이 답의 확신도를 1에서 10으로 매겨 줘”, “내가 놓친 건 뭘까?”를 덧붙이면 빈틈이 드러난다.
- 사람에게 한 번 더 확인한다. 결과물을 동료나 상사에게 보여 주고 의견을 듣는다. 내 전문 분야가 아닐수록 필수다.
- 학습 일지를 쓴다. 작업 뒤에 “오늘 뭘 배웠나”, “AI 없이도 이걸 할 수 있나”를 적어 둔다.
- 일부러 AI 없이 풀어 본다. 일주일에 한 번은 맨손으로 문제를 푼다. 내 실력이 멈춰 있지는 않은지 점검한다.
이 다섯 가지를 다 지킬 필요는 없다. 한 가지만 골라 일주일만 해 봐도 감이 다르다. 가장 효과가 빠른 건 첫 번째, 더블 체크다. “이게 틀렸다면 어디일까”라는 질문 하나가 받아쓰기를 검토로 바꾼다. 그 짧은 멈춤이 인지적 오프로딩의 관성을 끊는다. 중요한 건 AI를 덜 쓰는 게 아니라, 쓰되 끝에 내 판단을 한 번 얹는 습관이다. 그렇게 한 번이라도 의심을 거치면, 같은 답이라도 내 것이 된다. 그 차이가 쌓여 실력이 된다.
핵심은 AI를 ‘답을 주는 기계’가 아니라 ‘같이 고민하는 동료’로 두는 거다. AI를 도구가 아니라 팀원처럼 다룰 때 결과가 달라진다는 이야기는 스탠포드 교수가 밝히는 인공지능과의 진정한 협업법에서 자세히 다룬다. 사고력을 지키는 더 구체적인 루틴은 생성형 AI와 똑똑하게 공존하는 4가지 습관도 함께 보면 좋다.
한국 직장인이 특히 조심해야 하는 이유
한국은 세계에서 AI를 가장 빠르게 받아들이는 나라 중 하나다. 생산성에는 분명 기회다. 하지만 같은 속도로 위험도 자란다. 회사의 산출물은 좋아지는데, 정작 직원의 실력은 제자리거나 뒤로 갈 수 있다.
특히 주니어가 위험하다. 기초를 쌓을 시기에 AI에 기대 버릇하면, 계산기만 쓰다 암산을 잃는 것과 같은 일이 벌어진다. 답은 빨리 나오는데, 그 답이 맞는지 판단하는 근육은 자라지 않는다. 처음에는 티가 안 난다. 그러다 AI가 멈춘 순간, 혼자서는 아무것도 못 하는 자신을 마주하게 된다. 기업이라면 교육과 평가 방식을 다시 설계해야 한다. ‘얼마나 빨리 뽑아내느냐’가 아니라 ‘얼마나 잘 의심하느냐’를 봐야 한다. 기술의 속도보다 그 기술을 왜 쓰는지가 더 중요하다는 샘 알트만의 경고도 같은 맥락이다.
똑똑함과 현명함은 다르다
AI는 강력한 도구다. 그러나 도구는 도구다. AI는 답을 줄 수 있어도, 어떤 질문을 해야 하는지는 알려 주지 않는다. 결과를 만들어 줄 수 있어도, 그 결과가 옳은지 가리는 일은 여전히 내 몫이다. AI는 우리를 더 똑똑하게 만들 수는 있어도, 더 현명하게 만들지는 못한다. 현명함은 스스로 길러야 한다.
이제 진짜 실력은 AI를 얼마나 잘 쓰느냐가 아니다. AI를 얼마나 의심할 줄 아느냐다. 오늘 받은 답 하나를 다시 들여다보자. “이게 정말 맞을까?” 그 한 번의 멈춤이, AI 과신 효과에서 빠져나오는 첫걸음이다.