Django 핵심 기여자인 James Bennett가 LLM 코딩 도구의 효과에 대해 이론적·실증적 근거를 들어 회의적 분석을 제시한 글입니다. 원문: LLMs 핵심 프레임워크: Fred Brooks의 “은탄환은 없다” (1975) 소프트웨어 개발의 어려움을 두 가지로 구분합니다: 우발적(accidental) 어려움 — 도구로 제거 가능 (수동 메모리 관리 등) 본질적(essential) 어려움 — 사양, 설계, 테스트 등 소프트웨어 자체에 내재된 것 Brooks의 핵심 통찰: “어려운 부분은 개념을 구축하는 것이지, 그것을 표현하는 노동이 아니다.” 우발적 어려움이 전체의 90% 이상이 아닌 한 10배 생산성 향상은 불가능하며, 실제 비율은 훨씬 낮다고 저자는 봅니다. ...
AI 모델의 **능력(capability)**이 크게 향상된 것은 주로 **추론 비용(inference cost)**이 인간 노동 대비 더 저렴해졌기 때문이 아니라, 모델이 **더 길고 복잡한 작업(longer/harder tasks)**을 처리할 수 있게 되었기 때문이라는 점을 강조합니다. 능력 향상(예: METR의 frontier time horizons 기준으로 몇 달마다 배로 증가)은 관찰되지만, 이는 “같은 작업을 더 싸게 하는” 형태가 아닙니다. 오히려 추론 비용이 상승하는 경향을 보이는데, 이는 모델이 더 긴/어려운 작업을 수행하기 때문에 발생하는 자연스러운 현상입니다. (더 많은 compute/token을 소모) 현재 frontier 모델들은 50% 신뢰도(reliability) horizon에서 인간 비용의 약 3% 수준으로 작업을 수행하며, 이 비용 비율(인간 대비)은 능력 향상에도 크게 변하지 않고 있다는 데이터가 제시됩니다. 핵심 포인트 ...