Systems Thinking

프롬프트를 입력하면 몇 백 밀리초 뒤에 토큰이 스트리밍으로 나오기 시작합니다. 겉보기엔 단순하지만, 내부에서는 서로 병목이 다른 두 추론 단계가 연속으로 실행됩니다. 이 글은 해당 구조를 1차 원리(First Principles) 관점으로 정리한 글입니다. TL;DR 핵심 정리 추론은 두 단계다: 첫 토큰 전까지의 Prefill(TTFT) 과 이후 스트리밍의 Decode(ITL) 는 병목이 다르다. 성능 지표도 분리해야 한다: 시작이 느린 문제는 프롬프트 길이/연산 최적화, 스트리밍이 느린 문제는 메모리 대역폭/KV 캐시 최적화가 핵심이다. KV 캐시는 속도의 핵심이자 비용의 근원: 재계산을 막아 속도를 올리지만, 긴 컨텍스트에서 VRAM을 크게 소모한다. 양자화는 고효율 레버: FP16/BF16, INT8, INT4로 갈수록 메모리 절감과 처리량 개선 효과가 크다. 원문: https://x.com/akshay_pachaar/article/2050941458614751327 ...

출처: https://every.to/guides/compound-engineering Every의 가이드 “Compound Engineering” 은 AI 에이전트를 활용한 새로운 소프트웨어 개발 패러다임을 설명하고 있습니다. 핵심은 “전통적인 개발은 코드가 쌓일수록 복잡해져 속도가 느려지지만, 컴파운드 엔지니어링은 할수록 다음 작업이 더 쉬워지고 빨라진다” 는 것입니다. 1. 핵심 철학 (The Philosophy) 복리 효과(Compounding): 모든 단위 작업(코드, 문서, 툴링)이 다음 작업을 더 쉽게 만들어야 합니다. 시스템에 ‘취향’ 반영: 코드 리뷰 시 매번 수동으로 수정하는 대신, 설정·스키마·자동 검사 도구에 판단 기준을 녹여내어 시스템 자체가 학습하게 합니다. 직접 하기보다 가르치기: 코드를 직접 타이핑하는 시간보다 AI 에이전트에게 더 많은 컨텍스트를 제공하는 데 시간을 투자합니다. 2. 4단계 루프 (The Loop) 컴파운드 엔지니어링은 다음의 반복적인 과정을 통해 완성됩니다. ...