OpenAI가 밝힌 AI 환각의 근본 원인

환각은 버그가 아니라 잘못 설계된 시스템의 필연적 결과

완벽한 데이터로도 막을 수 없는 환각의 정체

지금까지 많은 전문가들은 AI 환각을 데이터 부족이나 학습 과정의 오류로 설명해왔습니다. 하지만 OpenAI의 연구진은 놀라운 사실을 발견했습니다. 완벽하게 오류 없는 데이터로 모델을 학습시켜도 환각은 여전히 발생한다는 것입니다.

문제의 핵심은 데이터가 아니라 AI를 평가하고 보상하는 시스템 자체에 있었습니다. 현재의 AI 학습 방식을 비유하자면, 마치 ‘틀려도 감점이 없는 객관식 시험’을 치르는 것과 같습니다.

상상해보세요. 시험에서 정답을 모르는 문제가 나왔을 때, 빈칸으로 두면 0점이지만 아무거나 찍으면 정답일 가능성이 생깁니다. 합리적인 학생이라면 당연히 추측을 선택할 것입니다. AI도 마찬가지로 “모르겠습니다”라고 솔직하게 말하는 것보다는 그럴듯한 답을 내놓는 것이 더 높은 보상을 받는 구조에서 학습되고 있습니다.

블러핑을 학습하는 AI의 딜레마

이런 보상 체계 하에서 AI는 자연스럽게 ‘블러핑(bluffing)’ 전략을 학습하게 됩니다. 확실하지 않은 정보라도 자신감 있게 제시하는 것이 최적의 전략이 되는 것입니다.

예를 들어, 사용자가 “19세기 프랑스의 특정 화가에 대한 세부 정보”를 묻는다면, AI는 다음 두 가지 선택지 중 하나를 택해야 합니다:

• “죄송하지만 확실한 정보를 드릴 수 없습니다”
• “그 화가는 1850년경 파리에서 활동했으며…” (불확실한 추측)

현재의 보상 시스템에서는 두 번째 답변이 더 높은 점수를 받게 되고, AI는 이를 통해 환각을 ‘유용한 기능’으로 학습하게 됩니다.

강화 학습의 역설: 똑똑해질수록 더 거짓말하는 AI

유용함을 추구하다 정직함을 잃다

더욱 충격적인 사실은 AI를 더 똑똑하고 유용하게 만들기 위한 강화 학습(RLHF) 과정이 오히려 환각을 심화시킨다는 점입니다. 이는 마치 학생을 더 적극적이고 자신감 있게 만들려다가 오히려 허풍쟁이로 만드는 것과 같습니다.

강화 학습 과정에서 AI는 다음과 같은 특성을 강화받습니다:

• 더 확신에 찬 답변
• 더 결단력 있는 의견 제시
• 더 적극적인 정보 제공

이 과정에서 AI의 주관적 확신도와 객관적 정확도 사이에 심각한 괴리가 발생합니다. 실제 연구 결과에 따르면, 강화 학습을 거친 모델이 스스로 80% 확신한다고 생각하는 답변의 실제 정답률은 45%에 불과했습니다.

생성과 검증의 비대칭성

이런 현상이 발생하는 근본적인 이유는 ‘생성하는 것’과 ‘검증하는 것’ 사이의 난이도 차이에 있습니다. AI에게는 그럴듯한 거짓말을 만들어내는 것이 사실을 정확히 검증하는 것보다 훨씬 쉽습니다.

마치 소설가가 흥미진진한 픽션을 창작하는 것은 쉽지만, 역사학자가 사실을 철저히 검증하는 것은 어려운 것과 같은 이치입니다. AI는 자연스럽게 ‘쉬운 길’인 창작 모드로 빠져들게 됩니다.

혁신적인 해결책: 정직함에 대한 보상 체계

새로운 평가 시스템의 도입

OpenAI가 제시한 해결책은 놀랍도록 단순하면서도 혁신적입니다. 바로 AI 평가 시스템을 근본적으로 바꾸는 것입니다:

기존 시스템:

• 정답: +1점
• 추측(틀릴 수도 있는 답): +1점 (운이 좋으면)
• 모르겠음: 0점

새로운 시스템:

• 정답: +1점
• 모르겠음: 0점
• 오답(환각): -1점 (명확한 감점)

이렇게 오답에 대한 명확한 페널티를 부여하면, AI에게는 불확실할 때 무리하게 추측할 이유가 사라집니다. “모르겠습니다”라고 솔직하게 말하는 것이 최적의 전략이 되는 것입니다.

행동 보정(Behavioral Calibration)의 적용

더 구체적으로는 ‘행동 보정’ 기법을 통해 AI가 특정 신뢰도 기준(예: 75%)을 넘지 않으면 아예 답변하지 않도록 훈련시킬 수 있습니다. 이는 마치 의사가 확실하지 않은 진단을 내리기보다는 추가 검사를 권하는 것과 같은 접근법입니다.

실제로 최근 GPT-5로 추정되는 모델에서 “모르겠습니다. 그리고 확실하게 알아낼 방법이 없습니다”라는 답변이 포착되었다고 합니다. 이는 OpenAI가 이미 이런 방향으로 모델을 개선하고 있음을 시사합니다.

정직한 AI 시대의 도래와 우리의 준비

패러다임 전환의 의미

이번 연구가 제시하는 핵심 메시지는 명확합니다. AI 환각 문제의 해결은 더 많은 데이터나 더 큰 모델이 아니라, AI에게 ‘지적 겸손’을 가르치는 패러다임의 전환에 있다는 것입니다.

우리는 그동안 ‘모든 것을 아는 척하는 AI’를 만들려고 노력해왔습니다. 하지만 진정으로 신뢰할 수 있는 AI는 ‘모르는 것은 정직하게 모른다고 말하는 AI’입니다.

신뢰 기반 AI 생태계의 구축

이런 변화는 단순히 기술적 개선을 넘어 AI와 인간 관계의 근본적 재정의를 의미합니다. 자신감 있게 틀리는 AI에서 정직하게 한계를 인정하는 AI로의 진화는 다음과 같은 변화를 가져올 것입니다:

• 투명성 증대: AI의 불확실성이 명시적으로 표현됨
• 신뢰도 향상: 예측 가능한 실패가 예측 불가능한 환각보다 낫다
• 협업 강화: AI가 보조 도구로서의 역할에 충실해짐

여러분은 이런 변화를 어떻게 보시나요? 때로는 틀린 답을 자신 있게 말하는 AI와 자주 “모르겠다”고 말하지만 틀리지 않는 AI 중 어느 쪽을 더 선호하시겠습니까?

이 거대한 변화의 흐름을 이해하고 준비하는 것이 곧 다가올 AI 시대에서 주도권을 잡는 열쇠가 될 것입니다.