Coinbase는 AI가 코드를 작성하는 환경에 맞춰 엔지니어 채용 면접을 1년 동안 다시 설계했다. 핵심 변화는 코드를 제한 시간 안에 직접 쓰는 능력에서 벗어나, AI를 어떻게 지시하고 결과를 검증하며 잘못된 판단을 교정하는지를 평가하는 방향으로 이동한 데 있다.

원문: Interviewing Engineers in the AI Era: Lessons from a Year of Rebuilding (Coinbase, 2026-07-13)

1. 코드 생성이 빨라질수록 판단이 병목이 된다

Coinbase에 병합되는 코드 가운데 AI가 생성한 코드의 비중은 2025년 1분기 5.7%였다. 4분기에는 처음으로 50%를 넘었고, 글이 공개된 시점에는 인간이 모든 코드를 검토한다는 전제 아래 거의 100%에 도달했다고 설명한다.

여기서 중요한 구분은 AI가 작성한 코드와 사람이 검토한 코드가 다르다는 점이다. Coinbase의 엔지니어는 여전히 모든 변경을 검토하지만, 직접 처음부터 코드를 작성하는 시간은 줄고 다음 업무의 비중이 커졌다.

  • 요구사항과 명세 작성
  • AI에 구현을 지시하고 작업을 쪼개는 일
  • AI가 만든 변경의 정확성·보안성 검토
  • AI가 자신 있게 삽입한 아키텍처 오류 발견
  • 트레이드오프, 롤백 위험, 시스템 경계를 판단하는 일

따라서 회사가 실제 업무에서는 AI 협업을 요구하면서 채용 단계에서는 AI 없이 45분 동안 코드를 작성하게 하면, 평가 대상과 업무 현실이 어긋난다. Coinbase는 이 불일치를 면접 개편의 출발점으로 삼았다.

2. 기존 면접은 암기력과 실력을 혼동했다

전통적인 시스템 설계 면접은 URL 단축기나 메시지 큐를 설계하게 하면서 캐싱, 샤딩, 일관성 같은 대표 패턴을 기억하는지를 확인했다. 이 방식은 패턴을 익히기 어려웠던 시기에는 의미가 있었지만, 이제는 AI가 짧은 시간 안에 방어 가능한 참조 설계를 제시할 수 있다.

Coinbase가 발견한 문제는 두 방향으로 나타났다.

  • 거짓 양성: 정답 패턴을 잘 외운 지원자가 실제 업무에서 필요한 판단력을 충분히 보여주지 않아도 통과한다.
  • 거짓 음성: 패턴 암기에는 약하지만 AI의 결과를 지시·평가·수정하는 능력이 뛰어난 지원자가 불리해진다.

면접 라운드 사이의 중복도 컸다. 내부 분석에서 서로 다른 두 라운드의 결과가 84% 상관을 보였는데, 비용이 큰 두 라운드가 거의 같은 신호를 내면서도 AI 협업 능력은 충분히 측정하지 못했다. Coinbase는 라운드를 단순히 늘리는 대신, 기존 라운드가 무엇을 측정하는지부터 다시 따졌다.

3. 세 단계로 면접을 재구축했다

Coinbase는 한 번에 전면 개편하지 않고, 실제 엔지니어링 프로젝트처럼 파일럿과 종료 기준을 두고 확장했다.

1단계 — 2025년 하반기 프론트엔드 파일럿

기존 프론트엔드 문제에 AI만 허용하면 AI가 문제를 직접 풀어버렸다. 이는 AI 환경을 고려하지 않은 문제를 그대로 둔 채 도구만 추가한 결과였다.

그래서 문제를 처음부터 다시 만들었다. 지원자는 현실적인 문제를 AI와 함께 풀되, 평가의 중심은 결과물 자체만이 아니라 다음 행동에 놓였다.

  • 프롬프트가 문제를 적절히 분해하는가
  • AI의 출력을 검증하는가
  • 오류를 발견하고 재질문하는가
  • 여러 번의 반복을 통해 결과를 개선하는가

AI에게 답을 만들게 하는 것은 쉬웠다. 좋은 답을 만들고, 믿을 수 있는 부분과 반박해야 할 부분을 구분하는 능력이 핵심 신호가 됐다.

2단계 — 2026년 1월 백엔드 확장

백엔드 면접은 기존 문제를 고치는 방식으로 확장하지 않고, 저장소 기반 문제를 새로 만들었다. 지원자는 실제 코드베이스와 비슷한 환경에서 버그를 분류하고, 성능·정확성을 검토하며, 롤백 시나리오를 판단했다. AI 도구는 사용할 수 있지만 최종적으로 무엇을 받아들일지는 지원자가 책임진다.

이 방식은 빈 파일에서 코드를 생산하는 능력보다, 이미 존재하는 시스템을 이해하고 AI와 함께 개선하는 능력을 측정한다. 실제 업무에서 엔지니어가 마주하는 상황과도 더 가깝다.

3단계 — 2026년 3월 전사 AI 역량 평가

2026년 3월에는 엔지니어 면접의 모든 단계에 AI 관련 신호를 반영했다. 기존 절차 위에 AI 문제를 덧붙인 것이 아니라, 지원자를 평가하는 방식 자체를 AI 협업 환경에 맞게 바꾼 것이다.

새로운 평가의 초기 결과는 긍정적이었다. 다만 표본이 아직 작다는 단서가 붙는다. AI 보조 코딩 평가를 통과한 지원자가 기존 평가를 통과한 지원자보다 온사이트 면접으로 진출하는 비율이 의미 있게 높았으며, Coinbase는 이것이 기준을 불필요하게 높인 것이 아니라 더 적합한 지원자를 선별하는 방향의 신호라고 설명한다.

4. AI 역량을 세 차원으로 정의했다

Coinbase는 주니어와 시니어에게 동일하게 적용할 AI 역량을 세 가지로 나눴다.

  1. 사용(Usage): 적절한 도구를 선택하고, 필요한 업무 구간에 책임 있게 적용하며, 결과를 실제로 개선하는가를 본다.
  2. 적용(Application): AI가 적합한 문제와 그렇지 않은 문제를 구분하고, 단순 자동화를 넘어 사업 성과로 이어지는 업무 흐름을 설계하는가를 본다.
  3. 한계 이해(Understanding Limits): AI가 실패하는 지점을 알고, 개인정보·보안 위험을 식별하며, 필요한 곳에서 인간의 판단을 안전장치로 적용하는가를 본다.

이 정의는 AI를 많이 사용하는 사람을 무조건 높게 평가하지 않는다. 중요한 것은 사용량이 아니라 도구 선택의 적절성, 결과에 대한 책임, 모델의 한계를 인식하는 능력이다.

5. 최종적으로 남긴 세 가지 신호

Coinbase는 AI 기술이 바뀌어도 비교적 오래 유지될 평가 신호를 세 가지로 정리했다. 각 라운드의 형식은 바뀔 수 있지만, 무엇을 확인해야 하는지는 실무 요구에 맞춰 유지한다.

  1. 저장소 기반 코딩·디버깅 — 운영 중

    지원자가 자신이 작성하지 않은 코드에서 문제를 분류하고, 장애를 디버깅하며, 성능과 호환성을 판단하는지 평가한다. AI가 만든 변경이 그럴듯해 보이는지와 실제로 올바른지를 구분하는 능력도 포함한다.

  2. AI와 함께하는 시스템 설계 — 초기 검증 중

    AI를 이용해 스키마, API 계약, 실패 모드 등을 탐색하면서도 어떤 제약이 중요한지, 어떤 트레이드오프가 실제인지, 언제 AI의 제안을 거부해야 하는지를 평가하는 라운드다. Coinbase는 이 영역을 설계 중이며 이후 분기에 파일럿할 예정이다.

  3. 리더십·행동 면접 — 운영 중

    의사결정, 우선순위, 갈등 대응, 신뢰 형성, 성장 방식이라는 기존 목적은 유지한다. 여기에 지원자가 실제 업무에서 AI를 어떻게 활용하는지 구체적인 행동 사례를 묻는 항목을 더했다.

Coinbase가 끝까지 지킨 원칙은 라운드를 추가하지 않는 것이다. 새로운 신호는 기존 라운드를 대체하거나, 기존 절차가 측정하지 못한 별도의 정보를 제공해야 한다. 평가 항목을 늘리는 것보다 후보자 경험과 면접관 부담을 함께 고려해 신호의 중복을 줄이는 편이 낫다는 판단이다.

6. 면접을 일회성 절차가 아닌 운영 시스템으로 본다

이번 개편은 단일 리더의 지시로 끝난 프로젝트가 아니다. 엔지니어, 채용 관리자, 리크루터로 구성된 작업 그룹이 면접 루프를 소유하고, 명확한 성공 기준을 가진 파일럿을 실행한 뒤 데이터가 뒷받침할 때만 확장한다.

또한 면접 문항에는 빠른 유효기간이 생겼다. 오늘 AI 역량을 구분하던 문제가 다음 분기에는 최신 모델이 쉽게 풀 수 있는 문제가 될 수 있다. Coinbase는 분기별 검토 주기로 문항의 효과를 확인하고, 더 이상 신호를 내지 못하는 문항을 폐기하는 운영 방식을 택했다.

실제 입사 후 성과와의 연결도 아직 검증 중이다. 모든 신규 입사자를 대상으로 45일과 90일 시점에 AI 역량을 확인해 면접에서 측정한 역량이 현업에서도 유지되거나 향상되는지 살필 계획이다. 이후에는 초기 라운드 결합, 변화별 A/B 테스트, 온사이트 전 단계의 새로운 신호도 검토한다.

7. 지원자와 기업에 주는 실질적인 시사점

Coinbase 지원자는 AI를 사용하지 않는 환경을 가정해 암기한 답을 연습하기보다, 실제 첫 출근 날처럼 준비해야 한다. 저장소를 읽고, AI에게 작업을 지시하고, 생성된 코드를 검증하고, 틀린 부분을 설명하며 수정하는 연습이 더 직접적인 준비가 된다.

기업이 얻을 교훈도 분명하다.

  • 실제 업무에서 AI를 허용한다면 면접에서도 AI를 활용하는 능력을 평가해야 한다.
  • 기존 문제에 AI만 켜는 방식으로는 새로운 역량을 측정할 수 없다.
  • 평가 항목을 추가하기 전에 기존 라운드의 중복과 측정 실패를 확인해야 한다.
  • AI 역량은 사용량이 아니라 도구 선택, 적용 판단, 한계 인식으로 정의해야 한다.
  • 문항은 정기적으로 검증하고, 더 이상 차이를 만들지 못하면 폐기해야 한다.

결론 및 시사점

한 줄 결론: AI 시대의 엔지니어 면접은 코드를 빨리 작성하는 사람보다 AI의 결과를 현실의 시스템과 책임에 맞게 판단하는 사람을 찾아야 한다.

Coinbase의 사례는 AI 면접을 별도 과목으로 추가한 사례가 아니라, 엔지니어링 업무의 중심이 이동한 만큼 평가의 기준도 함께 이동시킨 사례다. 코드 생성 비용이 내려갈수록 무엇을 만들지 정하고, 결과가 맞는지 확인하고, 안전하게 운영하는 판단의 가치가 커진다.

다만 Coinbase 스스로도 아직 초기 데이터를 다루고 있다고 밝힌다. AI 보조 코딩 평가가 실제 업무 성과를 얼마나 잘 예측하는지, 빠르게 변하는 모델 환경에서 어떤 문제가 오래 유효한지는 앞으로 검증해야 한다. 따라서 AI 시대의 좋은 면접은 완성된 정답지가 아니라, 데이터를 통해 계속 문항과 신호를 고치는 운영 시스템에 가깝다.