출처: https://cacm.acm.org/blogcacm/model-collapse-is-already-happening-we-just-pretend-it-isnt/

핵심 주장

AI 모델이 이전 모델의 출력(합성 데이터) 으로 훈련될 때 발생하는 모델 붕괴(model collapse) 가 이미 진행 중이며, AI 업계가 이를 인정하지 않고 “더 큰 모델, 더 많은 데이터, 더 많은 컴퓨트"라는 규모 확대 전략으로만 문제를 해결하려 한다고 비판합니다.

모델 붕괴(Model Collapse)란?

AI 모델이 자신의 이전 버전(또는 다른 AI)이 생성한 합성 텍스트/데이터로 반복 학습할 때 발생하는 현상입니다.

  • 원본 데이터에 있던 희귀하고 독특하며 놀라운 패턴 (분포의 꼬리 부분, long tail)이 점차 사라짐
  • 모델 출력이 점점 평평하고 제네릭(generic) 해지며, 다양성이 급격히 줄어듦
  • 결국 통계적 평균 으로 수렴하면서 현실성과 정보 밀도가 낮아짐
  • 모델은 덜 유용한 내용을 더 자신 있게 출력하게 되는 위험한 상황 발생

저자는 이를 “포토카피를 반복 복사하는 것"에 비유합니다. 처음에는 괜찮아 보이지만, 몇 세대가 지나면 세부사항이 모두 사라져버립니다.

이미 일어나고 있다는 증거

  • 웹 전체 콘텐츠의 50% 이상 이 이미 AI 생성 콘텐츠로 추정
  • ChatGPT 출시 직후 Stack Overflow에서 AI 생성 답변이 폭증하고, 콘텐츠 농장들이 합성 출력으로 대체
  • 인터넷이 점점 자기 자신의 꼬리를 먹는 뱀(ouroboros) 처럼 변질되고 있음
  • 대기업의 70%가 여전히 AI 투자 확대를 계획 중 → 문제 가속화

왜 업계가 외면하나?

  • 규모 확대(scaling) 신화 에 빠져 있음: 더 많은 데이터와 파라미터로 모든 문제를 해결할 수 있다고 믿음
  • 벤치마크는 주로 좁은 작업 성능만 측정할 뿐, 출력의 다양성·풍부함·현실성 은 거의 평가하지 않음
  • 데이터 프로비넌스(provenance) , 즉 “이 데이터가 어디서 왔고, AI를 몇 번 거쳤는가"를 추적하는 인프라 구축은 어렵고 덜 매력적임

함의와 결론

저자는 “기초가 썩으면 건물이 아무리 높아도 소용없다"고 지적합니다. 저하된 데이터셋에 컴퓨트를 더 쏟아부으면 문제를 해결하지 못하고 오히려 증폭 시킬 뿐입니다.

필요한 해결책 :

  • 데이터 출처를 철저히 추적하는 데이터 프로비넌스 인프라 구축
  • 인간 생성 콘텐츠와 AI 생성 콘텐츠를 구분할 수 있는 체계 마련
  • 규모 확대 환상을 버리고, 데이터 품질 기반으로 돌아가기

결론적으로, 모델 붕괴는 먼 미래의 가설이 아니라 이미 진행 중인 현실 이며, 이를 계속 외면하면 AI 전체의 신뢰성과 유용성이 점차 떨어질 것이라고 경고합니다.

원문: Model Collapse Is Already Happening, We Just Pretend It Isn’t