Harness Engineering

Richard MacManus의 **「5 Trends That Defined AI Engineering at World’s Fair 2026」**은 AI Engineer World’s Fair 2026에서 반복해서 등장한 주제를 다룬다. 2023년의 관심사가 LLM이 자율적으로 행동할 수 있는지 증명하는 일이었다면, 이제는 에이전트를 신뢰할 수 있는 제품과 조직 시스템으로 운영하는 일이 중심이 되었다. 원문: 5 Trends That Defined AI Engineering at World’s Fair 2026 TL;DR 핵심 정리 관심사의 이동: 에이전트의 능력보다 에이전트를 둘러싼 하네스, 컨텍스트, 권한, 평가, 상태 관리가 중요해졌다. 루프 설계: 에이전트가 작업을 반복하는 내부 루프와 사람이 방향을 조정하고 결과를 평가하는 외부 루프를 분리해야 한다. 기업 도입: FDE와 소프트웨어 팩토리는 조직의 데이터·업무 흐름·승인 지점까지 함께 설계하는 역할로 확장된다. 개발자 인터페이스: 코딩 에이전트는 자동완성 도구를 넘어 저장소를 탐색하고 코드를 수정·검증하는 작업 환경이 되고 있다. 스킬의 부상: 스킬은 절차와 품질 기준을 에이전트가 재사용할 수 있게 만들지만, 작고 목적이 분명해야 유지할 수 있다. 1) 에이전트보다 에이전트를 둘러싼 시스템이 중요해진다 초기의 에이전트 논의는 모델이 계획을 세우고 도구를 사용해 목표를 달성할 수 있는지에 집중했다. AutoGPT, BabyAGI 같은 프로젝트는 자율성의 가능성을 보여주는 실험이었다. 그러나 실제 운영 환경에서는 모델의 한 번의 능력보다 어떤 컨텍스트를 주고, 어떤 도구와 권한을 열어주며, 결과를 어떻게 평가하고, 상태를 어떻게 보존하는가가 더 큰 차이를 만든다. ...

Tanay Sai의 글 입니다. 2023년 PDF 폴더에 대한 영업팀 질의 응대를 위해 2주간 짜낸 RAG 파이프라인 — 청킹·임베딩·벡터 스토어·리랭커 — 이, 오늘은 사용자가 100페이지짜리 PDF 20개를 1M 토큰 컨텍스트에 드롭하고 질문 한 번 던지는 것으로 대체되었다는 자기 고백에서 시작합니다. 원문: Today’s harness is Tomorrow’s Prompt — Tanay Sai TL;DR 요약 하네스의 정의: 모델이 혼자서는 잘 못하는 일을 하게 만드는 스캐폴딩. 단순한 래퍼 이상으로, 모델이 할 수 있는 일을 측정 가능하게 끌어올리는 구조물. 모든 하네스 = 모델 한계의 우회로. 벡터 스토어는 컨텍스트가 작아서, 파서는 출력이 약간 틀려서, 에이전트 프레임워크는 모델이 계획을 못 해서 존재한다. 이미 먹힌 3가지: PDF 채팅(RAG 파이프라인), 구조화 출력(JSON 베깅 + 정규식), 이미지 읽기(Tesseract OCR + LLM 추측). 곧 먹힐 후보 3가지: 멀티 에이전트 스웜(AutoGen/CrewAI), 브라우저 스크립팅(Playwright + DOM 스냅샷), 캐스케이딩 음성 파이프라인(Whisper → LLM → ElevenLabs). 빌더의 진짜 질문: “내 하네스가 얼마나 영리한가"가 아니라 “How long until the model eats it?”. 결론: 짓지 말라는 게 아니다. 버릴 수 있을 만큼 싸게 지어라(build them cheap enough to throw away). 시작은 자기 고백 — 2주짜리 RAG가 컨텍스트에 먹힌 이야기 In 2023, I spent two weeks wiring up a RAG pipeline so a sales team could ask questions about a folder of PDFs. Chunking, embeddings, a vector store, a reranker. Today, a user drops twenty 100-page PDFs into a 1M-token context window and the model handles it. ...

Addy Osmani가 2026년 4월에 정리한 글입니다. 핵심 명제는 단순합니다 — 코딩 에이전트 = 모델 + 그 주변에 당신이 만든 모든 것이고, 그 “주변"을 진지하게 다루는 규율을 하네스 엔지니어링이라 부릅니다. 원문: Agent Harness Engineering — Addy Osmani (2026-04-19) 한 줄 A decent model with a great harness beats a great model with a bad harness. 평범한 모델 + 훌륭한 하네스가, 훌륭한 모델 + 나쁜 하네스를 이깁니다. Claude Code, Cursor, Codex, Aider, Cline이 종종 동일한 모델을 쓰면서 행동이 완전히 갈리는 이유는 모델이 아니라 하네스 차이에 있습니다. ...