AI 도구를 모두에게 열어주고, 사용량이 늘고, 슬랙에 성공 사례 채널이 생겼다고 해서 팀이 정말 더 강해졌다고 말할 수는 없다. Ably의 글은 이 착시를 정면으로 다룬다. 질문은 단순하다. AI가 우리 팀을 더 유능하게 만들고 있는가, 아니면 더 바쁘게 만들고 있는가?

원문: Is AI making your teams better, or just busier?

사용량 지표의 함정

AI 도입 성과를 볼 때 가장 쉬운 방법은 “누가 쓰고 있는가”, “얼마나 자주 쓰는가"를 세는 것이다. 하지만 이 지표는 품질을 말하지 않는다. AI 도구를 매일 열어도 기존 업무를 조금 더 빠르게 할 뿐이라면, 팀 역량은 크게 변하지 않는다.

Ably가 인용한 McKinsey 2025 State of AI 조사도 같은 문제를 보여준다. 조사 대상 기업의 88%는 하나 이상의 업무 기능에서 AI를 사용하지만, EBIT 영향을 보고한 조직은 39%에 그쳤고 그 영향도 대체로 5% 미만이었다. 접근권한이 부족한 문제가 아니라, 무엇을 성과로 볼지 잘못 잡은 문제에 가깝다.

전통적인 엔지니어링 지표도 그대로 쓰기 어렵다. 사이클 타임, 스프린트 속도, 스토리 포인트는 AI가 여러 에이전트로 업무를 병렬화하는 상황에서 의미가 흔들린다. 예전에는 한 스프린트가 걸리던 일이 몇 시간 안에 끝나면 기존 산식이 더 이상 현실을 설명하지 못한다.

잘 쓰는 사람은 도구 사용자가 아니라 관리자처럼 일한다

Ably가 말하는 AI 고수의 특징은 단순히 프롬프트를 잘 쓰는 사람이 아니다. 더 정확히는 유능하지만 주니어인 팀원에게 일을 맡기는 관리자처럼 행동한다.

좋은 사용자는 먼저 과제를 명확히 정의하고, 일에 맞는 모델과 도구를 고른다. 결과물을 그대로 받아들이지 않고 비판적으로 검토한다. 한 번에 잘 안 된 세션도 포기하지 않고, 며칠 또는 몇 주에 걸쳐 워크플로를 고친다.

특히 흥미로운 신호는 사람들이 출력물보다 브리프에 더 많은 시간을 쓰기 시작한다는 점이다. AI에게 맡길 수 있을 만큼 구체적으로 설명하려면, 자신이 원하는 결과를 더 선명하게 생각해야 한다. 이 압력이 팀의 사고 품질을 높인다.

KPI 1: AI로 새롭게 가능해진 결과

첫 번째 KPI는 AI 사용 여부가 아니라 AI 덕분에 이전에는 어렵거나 불가능했던 결과가 나왔는지를 본다.

예를 들어 단순히 문서를 빨리 쓴 것은 약한 신호다. 반면 기존 인력과 시간으로는 만들 수 없던 수준의 분석, 자동화, 고객 대응, 코드 개선이 가능해졌다면 강한 신호다. 핵심 질문은 “조금 빨라졌는가"가 아니라 “가능 업무 범위가 넓어졌는가"다.

Ably는 이 항목을 월 1회 1~5점으로 평가한다. 개인 점수는 팀, 부서, 회사 단위로 올라간다. 단, 점수는 주장으로 오르지 않는다. 실제 산출물과 이전 대비 달라진 점을 보여줘야 한다.

KPI 2: AI가 업무 방식 안에 들어왔는가

두 번째 KPI는 AI가 주변 장식인지, 실제 업무 방식의 일부인지 측정한다.

낮은 단계에서는 챗봇을 가끔 쓰는 수준에 머문다. 높은 단계로 갈수록 자동화된 워크플로가 독립적으로 돌고, 한 사람이 혼자 만들 수 없는 품질·속도·양의 결과물이 나온다. AI가 회의 전후에 잠깐 붙는 보조 도구가 아니라, 일을 설계하고 전달하는 기본 방식이 되는 것이다.

Ably가 든 4점 수준의 예시는 엔지니어가 기능 개발 속도를 유지하면서도 그동안 밀렸던 기술 부채, 유지보수, 개선 작업을 함께 처리하는 경우다. 예전에는 둘 중 하나를 선택해야 했지만, 이제는 둘 다 해내는 사람이 생긴다. 이것이 단순 효율이 아니라 배수 효과다.

현재 점수보다 궤적이 중요하다

Ably는 대부분의 팀이 정직하게 평가하면 처음에는 2점 부근에서 시작한다고 말한다. 이 숫자는 나쁜 성적표가 아니라 기준점이다. 더 위험한 것은 근거 없이 3점이나 4점에서 시작하는 것이다.

중요한 질문은 “이번 달 점수가 높은가"가 아니라 “지난달보다 구체적으로 무엇이 나아졌는가"다. 1월에 2점인 것은 괜찮다. 2월에도 2점, 3월에도 2점이라면 문제가 된다. 학습이 축적되지 않고 있다는 뜻이기 때문이다.

점수 부풀리기를 막으려면 리더십 레벨에서 팀 간 기준을 맞춰야 한다. 엔지니어링의 4점과 마케팅의 4점이 대략 같은 수준의 변화와 증거를 뜻해야 회사 전체 지표가 의미를 갖는다.

점수만으로는 역량이 생기지 않는다

측정은 책임을 만든다. 하지만 측정만으로 실력이 생기지는 않는다. Ably는 점수를 실제 개선으로 연결하기 위해 몇 가지 장치를 둔다.

첫째, 월별 스코어카드를 함께 리뷰한다. 팀 리드는 각자의 사례를 가져와 “무엇을 했는지”, “무엇이 질적으로 달라졌는지"를 설명한다. “2시간 아꼈다"도 의미 있지만, 목표는 “원래는 일주일과 두 사람이 필요했던 결과를 만들었다"에 가깝다.

둘째, 직무 성장 프레임워크 안에 AI 역량을 넣는다. AI를 별도 트랙으로 보지 않고, 각 레벨에서 좋은 성과란 무엇인지 정의하는 요소로 다룬다.

셋째, 공유 가능한 스킬 저장소를 운영한다. Ably는 GitHub에 내부 스킬 저장소를 두고 MCP를 통해 직원들이 AI 어시스턴트에서 바로 쓸 수 있게 한다. 한 사람이 관리해서 좋아지는 저장소가 아니라, 모두가 쓰고 개선하기 때문에 좋아지는 구조다.

넷째, 새 프로세스와 지출에 AI 관점을 강제한다. 새로운 프로세스나 도구 구매를 제안할 때 “AI가 이미 처리할 수 있는가"를 먼저 묻는다. AI를 나중에 붙이는 보조 수단이 아니라, 기본 사고방식으로 끌어올리기 위한 장치다.

실무 적용 포인트

팀에서 바로 적용하려면 거창한 대시보드보다 작은 월간 리듬이면 충분하다.

  1. 팀원별로 AI가 만든 구체적 변화 사례를 한 달에 하나씩 기록한다.
  2. 사례마다 “기존 방식으로는 얼마나 어려웠는지"와 “AI로 무엇이 달라졌는지"를 적는다.
  3. 두 KPI를 1~5점으로 매기되, 사례가 없으면 점수를 올리지 않는다.
  4. 팀 간 점수 기준을 리더십 회의에서 맞춘다.
  5. 좋은 사례는 스킬, 템플릿, 워크플로로 저장해 재사용한다.

이 방식의 장점은 허풍을 줄인다는 데 있다. “우리는 AI를 많이 쓴다"는 말보다 “이 결과는 예전에는 불가능했고, 이제 반복 가능하다"는 말이 훨씬 강하다.

결론 및 시사점

한 줄 결론: AI 효과는 사용량이 아니라 팀이 새로 해낼 수 있게 된 일과 그 변화가 업무 방식에 얼마나 깊게 박혔는지로 판단해야 한다.

AI 도입의 진짜 목적은 더 많은 도구 계정을 배포하는 것이 아니다. 팀이 더 어려운 문제를 풀고, 밀린 일을 처리하고, 더 나은 품질의 결과를 반복적으로 만들게 하는 것이다.

그래서 AI 성과 측정은 클릭 수나 로그인 수보다 증거 기반 대화에 가까워야 한다. 이번 달에 무엇이 가능해졌는지, 그 방식이 다음 달에도 재현될 수 있는지, 팀 전체가 그 학습을 공유하고 있는지를 봐야 한다.

Ably의 접근은 완벽한 산식이라기보다 좋은 질문 목록에 가깝다. 우리 팀은 AI를 쓰고 있는가? 그보다 더 중요한 질문은 이것이다. AI를 쓰기 전과 비교해, 우리 팀은 정말 다른 팀이 되었는가?