AI에게 답을 물으면 판단이 더 정확해질 것이라고 생각하기 쉽다. 그러나 최근 연구는 AI가 틀린 답을 제시하는 상황에서, 사람의 정확도뿐 아니라 자신이 모른다는 사실을 알아차리는 능력까지 약화될 수 있다고 지적한다.

원문: AI advice made people three times less accurate but twice as confident

연구가 보여준 판단의 변화

연구진은 프랑스와 이탈리아의 세 대학 소속 연구자들로, Valerio Capraro, Chiara Marcoccia, Walter Quattrociocchi가 참여했다. 실험에서는 영화 장면의 시각적 세부사항처럼 AI 모델이 잘못 답하기 쉬운 질문을 사용했다. AI가 대체로 잘 맞히는 문제를 고른 것이 아니라, 도구의 신뢰성이 낮은 상황에서 사람이 어떻게 반응하는지를 본 것이다.

AI 조언을 볼 수 없었던 집단에서는 답을 유보하고 ‘모르겠다’고 말한 비율이 44%였다. 반면 AI 조언을 볼 수 있었던 집단에서는 이 비율이 3%까지 떨어졌다. 사람들은 AI가 제시한 답을 참고하는 데 그치지 않고, 자신이 판단을 보류할 필요 자체를 덜 느끼게 됐다.

정확도도 27%에서 9%로 낮아졌다. 그런데 확신은 반대로 30%에서 76%로 상승했다. 즉, 덜 정확해졌는데 더 확신하는 상태가 나타났다. 일부 참가자는 혼자 풀었을 때 맞힐 수 있었던 문제에서도 AI를 참고한 뒤 오답을 선택했다.

돈을 걸어도 효과는 제한적이었다

연구진은 참가자에게 금전적 보상을 제공하면 더 신중해질 수 있는지도 살폈다. 보상은 ‘모르겠다’고 답한 비율을 3%에서 8%로, 정확도를 9%에서 16%로 높였다.

그러나 AI가 없을 때의 기준인 44%와 27%에는 크게 못 미쳤다. 금전적 동기는 신중함을 일부 회복시켰지만, AI가 만들어낸 과도한 확신을 충분히 상쇄하지 못했다.

문제는 틀린 답보다 ‘모른다는 감각’의 상실이다

AI의 오답은 새로운 문제가 아니다. 중요한 변화는 사람이 원래 가지고 있던 판단 유보의 습관이 약해진다는 점이다. 사람은 자신이 아는 것과 모르는 것을 구분해야 추가 조사를 하거나 다른 사람에게 도움을 요청할 수 있다.

하지만 대화형 AI는 대부분의 질문에 즉시 답하도록 설계되어 있다. 답변이 불가능하거나 불확실한 상황에서도 매끄러운 문장과 단정적인 어조를 만들어낸다. 사용자가 이 형식에 익숙해지면, 답이 있다는 사실을 지식이 있다는 사실로 착각하기 쉬워진다.

이 현상은 Wharton 연구자들이 말한 인지적 항복(cognitive surrender) 과도 연결된다. 사람은 AI의 정답을 받아들이는 것뿐 아니라, AI의 오답도 높은 비율로 수용하며 자신의 확신을 오히려 높일 수 있다.

AI를 안전하게 사용하는 방법

이 연구가 AI 사용을 중단해야 한다는 뜻은 아니다. 핵심은 AI에게 사고의 첫 단계와 마지막 판단을 동시에 넘기지 않는 것이다.

  • 먼저 자신의 답과 확신 정도를 적는다.
  • AI에게 정답을 묻기보다 반례, 누락된 정보, 검증 방법을 요청한다.
  • AI의 주장과 근거를 분리하고, 원출처를 직접 확인한다.
  • 확신이 커졌는지가 아니라 실제 정확도가 높아졌는지를 측정한다.
  • 교육에서는 기초 개념과 독립적 문제 해결을 익힌 뒤 AI를 도입한다.

특히 어린이나 초보자에게는 이 원칙이 중요하다. 아직 자신의 지식 한계를 판단하는 능력을 충분히 형성하지 못한 상태에서 AI가 항상 답을 내놓는 환경에 익숙해지면, 학습의 핵심인 시행착오와 오류 인식의 기회를 잃을 수 있다.

결론 및 시사점

  • AI의 유창함은 정확성의 증거가 아니다.
  • 사람의 판단력을 지키려면 AI 사용 전에 자신의 생각을 먼저 외부화해야 한다.
  • 조직과 교육기관은 AI 활용량보다 독립적 판단력과 검증 성과를 평가해야 한다.

한 줄 결론: AI는 답을 빠르게 제공하지만, 그 답이 틀렸을 때조차 우리가 모른다는 사실을 잊게 만들 수 있으므로 판단 유보와 검증을 사용 과정에 명시적으로 포함해야 한다.