오늘의 하네스는 내일의 프롬프트 — 모델이 결국 하네스를 먹는다
Tanay Sai의 글 입니다. 2023년 PDF 폴더에 대한 영업팀 질의 응대를 위해 2주간 짜낸 RAG 파이프라인 — 청킹·임베딩·벡터 스토어·리랭커 — 이, 오늘은 사용자가 100페이지짜리 PDF 20개를 1M 토큰 컨텍스트에 드롭하고 질문 한 번 던지는 것으로 대체되었다는 자기 고백에서 시작합니다. 원문: Today’s harness is Tomorrow’s Prompt — Tanay Sai TL;DR 요약 하네스의 정의: 모델이 혼자서는 잘 못하는 일을 하게 만드는 스캐폴딩. 단순한 래퍼 이상으로, 모델이 할 수 있는 일을 측정 가능하게 끌어올리는 구조물. 모든 하네스 = 모델 한계의 우회로. 벡터 스토어는 컨텍스트가 작아서, 파서는 출력이 약간 틀려서, 에이전트 프레임워크는 모델이 계획을 못 해서 존재한다. 이미 먹힌 3가지: PDF 채팅(RAG 파이프라인), 구조화 출력(JSON 베깅 + 정규식), 이미지 읽기(Tesseract OCR + LLM 추측). 곧 먹힐 후보 3가지: 멀티 에이전트 스웜(AutoGen/CrewAI), 브라우저 스크립팅(Playwright + DOM 스냅샷), 캐스케이딩 음성 파이프라인(Whisper → LLM → ElevenLabs). 빌더의 진짜 질문: “내 하네스가 얼마나 영리한가"가 아니라 “How long until the model eats it?”. 결론: 짓지 말라는 게 아니다. 버릴 수 있을 만큼 싸게 지어라(build them cheap enough to throw away). 시작은 자기 고백 — 2주짜리 RAG가 컨텍스트에 먹힌 이야기 In 2023, I spent two weeks wiring up a RAG pipeline so a sales team could ask questions about a folder of PDFs. Chunking, embeddings, a vector store, a reranker. Today, a user drops twenty 100-page PDFs into a 1M-token context window and the model handles it. ...