Feedback Loops

Coinbase는 AI가 코드를 작성하는 환경에 맞춰 엔지니어 채용 면접을 1년 동안 다시 설계했다. 핵심 변화는 코드를 제한 시간 안에 직접 쓰는 능력에서 벗어나, AI를 어떻게 지시하고 결과를 검증하며 잘못된 판단을 교정하는지를 평가하는 방향으로 이동한 데 있다. 원문: Interviewing Engineers in the AI Era: Lessons from a Year of Rebuilding (Coinbase, 2026-07-13) TL;DR 핵심 정리 Coinbase의 AI 생성 코드 비중은 2025년 1분기 5.7%에서 4분기 50%를 넘었고, 현재는 인간 검토를 전제로 거의 100%까지 늘었다. 기존의 URL 단축기·메시지 큐 설계 같은 문제는 AI가 1분 안에 그럴듯한 답을 만들 수 있어, 암기력보다 판단력을 측정해야 하는 상황이 됐다. 면접은 프론트엔드 파일럿, 백엔드 저장소 기반 과제, 2026년 3월 전사 AI 역량 평가의 세 단계로 바뀌었다. 평가 기준은 AI 도구 사용, 적절한 적용, 한계 이해이며, 실무에 가까운 저장소 디버깅과 코드 리뷰가 핵심 과제가 됐다. 아직 검증 중인 영역은 면접 성과와 실제 업무 성과의 상관관계, 그리고 빠르게 낡는 AI 면접 문항의 유효기간이다. 1. 코드 생성이 빨라질수록 판단이 병목이 된다 Coinbase에 병합되는 코드 가운데 AI가 생성한 코드의 비중은 2025년 1분기 5.7%였다. 4분기에는 처음으로 50%를 넘었고, 글이 공개된 시점에는 인간이 모든 코드를 검토한다는 전제 아래 거의 100%에 도달했다고 설명한다. ...

원문: A Field Guide to Fable: Finding Your Unknowns 참고: Know your unknowns — examples Fable 핵심 정리 핵심 주장: Fable급 모델에서는 “모델이 충분히 똑똑한가"보다 “내가 작업의 빈칸을 충분히 드러냈는가"가 결과를 좌우한다. 지도와 영토: prompt, skill, context는 지도이고 실제 코드베이스, 사용자 요구, 운영 제약은 영토다. 두 사이의 간격이 unknowns다. 네 가지 분류: known knowns, known unknowns, unknown knowns, unknown unknowns로 나누면 AI가 어디서 추측하게 되는지 보인다. 실무 방법: 구현 전에는 blindspot pass와 인터뷰, 구현 중에는 변경 기록, 구현 후에는 pitch나 quiz로 숨은 가정을 다시 꺼낸다. 1) 문제는 더 긴 prompt가 아니다 Thariq Shihipar의 글은 “AI에게 일을 잘 시키는 법"처럼 보이지만, 핵심은 단순한 prompt 기술이 아닙니다. 더 정확히는 내가 무엇을 모르는지 AI와 함께 발견하는 법에 가깝습니다. ...