Will DePue의 A Stargate for Data는 AI 산업의 관심이 컴퓨트에 치우쳐 있는 동안, 다음 병목은 데이터가 될 수 있다고 말한다. X에 올라온 원문 포스트는 이 문제의식을 짧게 던지고, LinkedIn 글은 그 배경을 길게 설명한다.

1) 인터넷은 AI에게 주어진 일회성 보조금이었다

원문에서 가장 좋은 비유는 인터넷을 “한 번뿐인 보조금"으로 보는 관점이다. 딥러닝은 수십 년 동안 사람들이 의도치 않게 쌓아 둔 책, 블로그, 이미지, 영상, 논문, 토론 기록을 거의 한꺼번에 이용했다. 공개 웹은 모델이 세상을 배우는 거대한 기본 교재였다.

하지만 이 교재는 무한하지 않다. DePue는 유용한 공개 인간 텍스트가 약 300조 토큰 수준이라고 본다. 새로 생기는 고품질 공개 데이터는 모델 스케일링이 요구하는 속도를 따라가기 어렵다. 수학과 코딩처럼 온라인에서 채점 가능한 과제는 RL에 잠깐 숨통을 틔워줬지만, 이 자원도 빠르게 마르고 있다는 것이 글의 진단이다.

더 큰 문제는 웹에 애초에 없는 지식이다. 회사 내부의 업무 절차, 전문가의 암묵지, 현장 운영 방식, 물리 세계에서 벌어지는 예외 상황은 공개 문서로 남지 않는 경우가 많다. 모델이 특정 직무를 끝까지 자동화하려면 이런 “문서화되지 않은 분포"까지 배워야 한다.

2) 컴퓨트 병목에서 데이터 커버리지 병목으로

지난 몇 년간 AI 경쟁의 대표 이미지는 거대한 GPU 클러스터였다. 더 많은 칩, 더 큰 데이터센터, 더 긴 학습이 성능 향상의 상징이었다. DePue는 이 방향이 끝났다고 말하지 않는다. 오히려 컴퓨트 스케일링은 계속된다고 본다.

다만 컴퓨트가 커질수록 다음 질문이 더 커진다. 그 컴퓨트로 무엇을 학습할 것인가?

범용 모델이 경제적으로 가치 있는 일을 더 많이 하려면 각 영역의 데이터 커버리지가 필요하다. 회계, 의료, 법률, 보안, 제조, 연구, 고객지원, 사내 운영은 모두 표면 문서만으로는 부족하다. 실제 업무는 도구, 예외, 장기 흐름, 판단 기준, 조직별 관습을 포함한다.

따라서 자동화 속도는 알고리즘 하나만으로 결정되지 않는다. 특정 업무 세계가 얼마나 잘 기록되고, 라이선스되고, 검증 가능한 학습 과제로 바뀌는지가 함께 결정한다.

3) 데이터 지출은 거대한 시장이 될 수 있다

DePue는 데이터 지출이 2030년까지 연간 1,000억 달러를 넘을 수 있다고 본다. 현재도 내부 랩 비용을 제외한 외부 데이터 벤더 지출이 약 70억 달러 수준이라고 주장한다. 공개 인터넷이 공짜에 가까운 원천이었다면, 다음 데이터는 훨씬 비싸다.

이 비용은 단순 라벨링 비용만 뜻하지 않는다. 앞으로 필요한 데이터는 더 전문적이고, 더 희소하고, 더 검증하기 어렵다.

  • 전문가가 만든 고난도 RL 과제
  • 실제 업무 도구를 포함한 에이전트 환경
  • 법률 문서, 의료 판단, 보안 분석처럼 권리와 품질 관리가 중요한 데이터
  • 기업 내부 프로세스와 예외 케이스
  • 장기 작업 흐름과 실패 사례

즉 데이터 산업은 “사람이 이미지를 분류해 주는 시장"에서 “경제 전체의 암묵지를 모델이 배울 수 있는 형태로 바꾸는 시장"으로 이동한다.

4) 데이터는 해자가 된다

컴퓨트는 매우 비싸지만 어느 정도 상품화되어 있다. 돈이 있으면 같은 종류의 칩을 사고, 비슷한 클러스터를 지을 수 있다. 반면 데이터는 그렇지 않다. 어떤 회사와 계약했는지, 어떤 전문가 네트워크를 갖고 있는지, 품질 검수 체계가 어떤지, 어떤 도메인에서 먼저 깊게 파고들었는지가 그대로 차이를 만든다.

원문은 최근 모델들이 특정 영역에서 다르게 강해지는 이유도 데이터의 차이로 본다. 수학에 강한 모델, 보안에 강한 모델, 코딩에 강한 모델은 단순히 아키텍처가 달라서가 아니라 해당 영역의 학습 데이터, 중간 학습 토큰, RL 과제, 평가 환경을 더 잘 모았기 때문이라는 해석이다.

이 관점에서는 데이터 회사도 쉽게 사라지지 않는다. AGI가 가까워질수록 데이터 수요가 줄어드는 것이 아니라, 오히려 마지막 1%를 채우기 위한 희소 데이터의 가치가 커질 수 있다. 99% 자동화와 100% 자동화 사이에는 큰 경제적 차이가 있기 때문이다.

5) 데이터는 전략 자산이 된다

DePue의 글이 흥미로운 지점은 데이터 문제를 단순한 기업 구매 문제로 보지 않는다는 데 있다. 데이터 커버리지가 경제 성장과 과학 발전의 속도를 제한한다면, 데이터는 컴퓨트처럼 전략 자산이 된다.

컴퓨트를 위해 거대한 자본, 전력, 국제 협력, 데이터센터 건설을 조직한다면 데이터에도 비슷한 수준의 상상력이 필요하다. 다만 데이터는 GPU처럼 동질적인 물건이 아니다. 경제 곳곳에 흩어진 지식, 사라지는 기록, 공개되지 않은 업무 흐름, 민감한 권리 문제가 섞여 있다.

그래서 원문이 던지는 질문은 단순하다.

AI 산업이 다음 인터넷만큼 큰 데이터 자원을 이번에는 의도적으로 만들 수 있는가?

가능한 방향은 여러 가지다. 무엇이 부족한지 먼저 조사하고, 2030년 모델이 여전히 못할 일을 역산하고, 필요한 데이터셋과 회사를 사거나 라이선스하고, 기업의 삭제 정책을 바꾸고, 소비자 제품 안에 데이터 플라이휠을 만들고, 정부 연구 데이터와 공공 자금 결과물을 더 잘 연결하는 방식이다.

6) 읽고 난 뒤 남는 질문

이 글의 강점은 “AI는 데이터가 중요하다"는 뻔한 말을 더 날카롭게 만든다는 점이다. 중요한 것은 데이터의 양만이 아니다. 어디가 비어 있는지, 어떤 업무 분포가 아직 기록되지 않았는지, 어떤 데이터가 권리와 품질 문제 때문에 학습 가능한 형태로 오지 못하는지가 핵심이다.

다만 모든 주장을 그대로 받아들일 필요는 없다. 데이터 효율이 크게 좋아질 수도 있고, 합성 데이터나 새로운 학습법이 일부 병목을 줄일 수도 있다. 또 데이터 수집을 국가 프로젝트처럼 다루면 프라이버시, 동의, 저작권, 감시 위험이 커진다. “Stargate for Data"가 필요하다는 말은 매력적이지만, 어떤 데이터는 모으지 않는 것이 맞다는 경계도 함께 필요하다.

그래도 큰 방향은 설득력 있다. AI가 실제 경제를 자동화하려면 공개 웹을 넘어 실제 업무 세계의 분포를 배워야 한다. 이때 승자는 가장 큰 모델을 가진 팀만이 아니라, 가장 중요한 미기록 지식을 학습 가능한 형태로 바꿀 수 있는 팀일 수 있다.

결론 및 시사점

한 줄 결론: AI의 다음 병목은 더 큰 GPU만이 아니라, 경제와 과학의 실제 작업을 충분히 담은 고품질 데이터 커버리지다.

컴퓨트 인프라가 AI 경쟁의 눈에 보이는 전쟁터라면, 데이터 인프라는 덜 보이지만 더 방어적인 전쟁터가 될 가능성이 크다. 앞으로 모델 성능 차이는 파라미터 수보다 어떤 업무 세계를 얼마나 깊게 수집했는지에서 더 자주 갈릴 것이다.