확률적 엔지니어링과 24/7 직원 — 생성은 밤에도 멈추지 않지만, 검증은 그렇지 못하다

소프트웨어는 결정론적 공학에서 확률적 공학으로 전환되고 있습니다. 에이전트는 사람이 잠든 사이에도 코드를 생성하지만, 그것을 검증할 용량은 같이 자라지 않습니다. Tim Davis는 이 비대칭이 역할, 조직, 그리고 엔지니어가 살아남기 위해 쌓아야 할 근육 자체를 재편한다고 주장합니다.

원문: Probabilistic Engineering and the 24-7 Employee — Tim Davis (2026)

핵심 논제

“지식 노동 역사상 처음으로, 집에 간 사람이 자기 뇌의 유일한 사본을 들고 가지 않는다.”

저자가 운영하는 Compound Loop는 밤새 자율적으로 PR을 생성하는 코딩 시스템입니다. 24/7 근무하는 사람이 생긴 것이 아니라, 병렬화된 에이전트 노동이 생긴 것 — 이 차이가 모든 논의의 출발점입니다.

역할의 상향 이동이 아니라 파편화

낙관적 서사는 “모두가 더 높은 추상 단계로 올라간다"고 말합니다. Davis의 관찰은 다릅니다.

• 상위 3분위 — 에이전트 함대를 효과적으로 지휘. 위로 이동.
• 중간 티어 — spec writer, reviewer, agent babysitter로 분화. 아래로 압축.

“에이전트 함대를 효과적으로 운용하는 상위 티어와 그 배기가스를 관리하는 중간 티어 사이의 임금 격차는, 이전 시대의 엔지니어–영업 격차보다 더 벌어질 것이다.”

이는 “재교육하면 된다"는 통념을 정면으로 거스르는 진단입니다.

Jevons Paradox — 코드에 적용된 버전

1865년 William Stanley Jevons는 증기기관의 효율이 올라갈수록 석탄 소비가 늘었다는 것을 관찰했습니다. Davis는 같은 역설을 코드에 적용합니다.

• 생성 비용이 떨어지면 팀이 시도하는 양이 늘어난다
• 출하되는 양이 늘어나는 것이 아니다
• 레버리지 포인트는 이제 선택과 방향성(selection and direction) 으로 이동한다

즉 “더 많은 코드를 짜는 능력"은 더 이상 경쟁 우위가 아니며, 무엇을 만들지 결정하고 검증하는 능력이 가치의 핵심으로 옮겨갑니다.

생성-검증 비대칭 (Generation-Review Asymmetry)

“리뷰는 출력 대비 선형 이하로 확장된다(worse than linearly).”

결과적으로 시스템은 사람이 신뢰할 수 있게 평가할 수 있는 양보다 많이 생산하고, 정확성은 보증되지 않고 확률적이 됩니다. 코드베이스는 “동작하는 것을 아는 대상"에서 “정확한 확률조차 말할 수 없는 상태로 동작한다고 믿는 대상*“이 됩니다.

조용한 실패 모드 — 폭발이 아니라 누수

이미 관측된 실패:

• 레이스 컨디션 — 10번 중 9번은 테스트 통과
• 예상 밖 프롬프트 분포에서 기능 실패
• 1/1000행 수준의 조용한 데이터 손상 — 몇 주 뒤에야 발견

이 모드의 공통점은 급격한 붕괴가 아니라 느리고 조용한 성능 저하라는 것입니다.

• 생성률은 오르고
• 리뷰 품질은 내려가고
• 미발견 결함은 누적되고
• 신뢰는 고객·감사·운영사고로 드러날 때까지 조용히 무너진다

그때쯤 기술 부채는 이미 상당합니다.

산업의 삼분 — Deterministic / Probabilistic / Convergence

모든 코드가 확률적이 되는 것은 아닙니다.

확률적 방법을 결정론적 영역에 일반화하는 것이 가장 위험한 조직적 실수입니다.

Agentic Fleet — 공장 자동화가 아니라 함대 지휘

Davis는 이 전환을 공장 자동화(노동자를 제거하는 구조)로 보지 않습니다. 은유는 함대 지휘(fleet command):

• 작업별 에이전트
• 조정 메커니즘과 계층
• 사람이 잠드는 동안 돌아가는 야간 당직 교대

즉 관리할 대상이 “팀"에서 “함대"로 바뀐다는 것.

도구가 아직 없다는 솔직한 고백

“새로운 CI/CD는 아직 도구가 아닙니다. 지금으로서는 냉혹한 회의주의 문화이자, 우리가 실시간으로 그 문화를 대체할 무언가를 만들어가고 있다는 솔직한 인정입니다.”

문화가 도움이 됩니다 — 작은 병합, 엄격한 게이트, 관찰 가능성, 롤백 규율, 완성도에 대한 냉혹한 회의주의. 하지만 특정 팀 규모를 넘으면 확장성이 떨어진다. 확률적 코드 평가를 위한 현재 도구는 필요한 수준에 비해 원시적입니다.

이 공백을 메우는 사람이 향후 10년 소프트웨어의 운영 체제를 정의하게 될 것이라는 프레이밍.

제안 — 지금 아직 없는 모델을 위해 근육을 키워라

Davis의 핵심 처방:

1. Build for the model you don’t have yet

• 명세 규율(specification discipline), 관측 가능성, 롤백 절차, 리뷰 문화를 지금 투자
• 2026년용이 아니라 2027–2028년용 스캐폴딩
• 근거: “지금 모델은 당신이 일할 가장 약한 모델이다” — 지금의 수요 대비 과투자가 다음 레버리지가 된다

2. Hard-mode 스킬 보존

• 가끔은 에이전트 없이 어려운 일을 하라
• 마찰 없이는 취향·판단·장인정신이 형성되지 않는다
• “직접 만들지 않으면, 만들어진 것을 평가하는 능력을 잃는다.”

3. 새로운 도제 모델

전통적 구조(주니어가 출하, 시니어가 리뷰)는 주니어가 에이전트를 통해 출하하는 순간 깨집니다. 조직은 다음 세대의 장인정신을 어떻게 길러낼지 새로 설계해야 합니다.

기억할 문장들

“코드베이스는 동작한다는 것을 아는 대상에서, 정확한 확률조차 말할 수 없는 채로 동작한다고 믿는 대상이 된다.”

“당신은 지금 가진 모델을 다루기 위해 조직적 근육을 키우는 것이 아니라, 아직 없는 모델을 다루기 위해 키우는 것이다.”

“취향은 잘 다듬어진 초안에 approve를 누르면서 학습되지 않는다. 판단력은 기계의 그럴듯한 답을 5초 만에 수용하면서 발달하지 않는다.”

“이 시대의 무관성(irrelevancy)은 자기 도착을 알리지 않는다 — 1년 전만 해도 눈에 띄게 더 낫지 않았던 팀들을 점점 따라잡지 못하는 모습으로 찾아온다.”

실행 체크리스트

• 현재 리뷰 용량 × 생성 속도를 측정 — 비대칭 지수(asymmetry ratio) 를 수치화
• 조용한 실패 모드를 탐지할 관측 지표 설계 (데이터 정합성, 분포 드리프트, 회귀 적발률)
• 결정론적 티어와 확률적 티어의 경계선을 내부적으로 선언 — 어떤 시스템에 어떤 방법을 허용하는가
• 주니어 훈련 경로를 에이전트 없는 구간 포함으로 재설계
• 롤백·명세·리뷰 문화에 현재 수요 대비 과투자 — 다음 모델 세대를 전제로

왜 이 글이 중요한가

대부분의 AI 엔지니어링 담론은 “생산성 2배, 10배” 에 머무릅니다. Davis는 그 너머를 봅니다.

1. 진단 프레임 — 실패를 폭발이 아니라 조용한 누수로 재정의
2. 조직적 결과 — 상향 이동이 아니라 파편화, 임금 격차 확대
3. 문화의 한계 — 더 엄격한 리뷰로 풀 수 없는 규모의 문제가 온다는 것을 인정
4. 도구 공백의 크기 — “새로운 CI/CD는 아직 도구가 아니다” 라는 한 문장으로 업계의 가장 큰 미해결 과제를 짚음

유토피아도 디스토피아도 아닙니다. 다만 코드와 확실성 사이의 계약이 깨졌고, 업계는 아직 이 청산을 시작하지도 않았다는 냉정한 진단.

핵심 결론

• 전환의 본질은 속도가 아니라 생성-검증 비대칭
• 실패는 폭발이 아니라 조용한 성능 저하로 온다
• 상향 이동 서사는 일부 사실이지만, 더 많은 사람은 리뷰/베이비시팅으로 파편화
• 문화는 도구의 대체재일 뿐 — 팀 규모를 넘으면 확장되지 않는다
• 지금 투자할 것은 다음 모델 세대를 다룰 운영 근육 — 관측성, 명세 규율, 롤백, 리뷰 문화
• 장인정신은 마찰 없이 형성되지 않으므로, 가끔은 에이전트 없이 어려운 일을 해야 한다

코드베이스가 아는 것에서 믿는 것으로 바뀌었다는 사실을, 당신의 조직은 아직 인정했는가.