Feedback Loop

Warp 창업자이자 전 Google Docs 수석 엔지니어인 Zach Lloyd는 글 The guide to software factories에서 소프트웨어 개발의 다음 변화를 설명한다. 개발자가 터미널에서 코딩 에이전트를 직접 조종하는 방식에서, 이슈 분류부터 배포와 모니터링까지를 클라우드에서 자동으로 흘려보내는 클라우드 소프트웨어 팩토리로 이동한다는 주장이다. Factory 핵심 정리 핵심 변화: 대화형 에이전트를 개발자별 도구로 두는 대신, SDLC 전체를 하나의 자동화 루프로 연결한다. 자동화 범위: 원문에서 소개한 Warp 팀의 경험으로는 전체 PR의 약 20~30%를 자동화하고 있으며, 완전 자동화가 어려운 작업도 리뷰·검증·모니터링은 자동화할 수 있다. 세 계층: 클라우드 런타임·샌드박스, 오케스트레이션·통합·사람 개입, 측정·평가·메모리로 구성된다. 경영 관점: 토큰 사용량이 아니라 실제 출시된 제품과 비용의 비율로 에이전트의 사업 가치를 측정해야 한다. 도입 원칙: 사람의 개입 경로를 남기고, 여러 모델·하네스를 지원하며, 데이터·컴퓨트·추론 엔드포인트의 선택권을 보존해야 한다. 대화형 코딩 에이전트만으로는 부족하다 Copilot, Cursor, Claude Code 같은 도구를 개발자에게 배포하는 일은 AI 도입의 좋은 출발점이다. 실제로 많은 조직이 먼저 모든 엔지니어에게 도구를 제공하고, 사용량과 도입률을 추적하며, 토큰을 많이 쓰는 팀을 격려했다. 새로운 기술을 현장에 빠르게 퍼뜨리는 단계에서는 합리적인 접근이다. ...

Lilian Weng의 글 Harness Engineering for Self-Improvement는 AI 자기개선을 모델 가중치의 문제로만 보지 않는다. 모델 주변에서 실행을 조율하는 하네스, 즉 도구 호출, 메모리, 워크플로, 권한, 평가 루프까지 포함한 시스템이 가까운 미래의 핵심 개선 대상이라는 주장이다. Harness 핵심 정리 하네스의 역할: 베이스 모델이 어떻게 생각하고, 어떤 도구를 쓰고, 무엇을 기억하고, 어떤 결과를 통과시킬지 정하는 실행 시스템이다. 가까운 경로: 자기개선은 모델이 곧장 자기 가중치를 수정하는 장면보다, 하네스와 연구 파이프라인을 개선하는 형태로 먼저 올 가능성이 크다. 중요 패턴: 워크플로 자동화, 파일 시스템 기반 장기 기억, 서브에이전트와 백엔드 작업 관리가 반복해서 등장한다. 최적화 대상: 프롬프트에서 구조화 컨텍스트, 워크플로, 하네스 코드, 옵티마이저 코드로 점점 내려간다. 현실적 한계: 평가가 흐릿한 영역에서는 보상 해킹, 실패 은폐, 다양성 붕괴, 장기 유지보수 비용을 피하기 어렵다. 1) 하네스는 프롬프트보다 실행 시스템에 가깝다 초기 에이전트 설명은 보통 LLM + memory + tools + planning + action 같은 공식으로 끝났다. Weng은 여기에 한 층을 더 얹는다. 실제 제품에서 중요한 것은 모델에게 좋은 말을 건네는 것만이 아니라, 모델이 어떤 루프 안에서 관찰하고, 실행하고, 실패를 기록하고, 다시 시도하게 만드는가다. ...