LLM API의 숨은 비용 — 백만 토큰당 가격 비교를 멈춰라

“백만 토큰당 $X” 는 LLM 가격을 비교하는 가장 흔한 기준이지만, TensorZero의 Gabriel Bianconi는 이 기준이 근본적으로 망가졌다고 주장합니다. 동일한 입력이 모델에 따라 최대 2.65배 더 많은 토큰을 생성하기 때문입니다. 리스트 가격이 비슷해 보여도 실효 비용은 크게 벌어지며, 특히 도구(tool) 정의가 많은 에이전트 워크로드에서 순위가 뒤집힙니다.

원문: Stop comparing price per million tokens: the hidden LLM API costs — Gabriel Bianconi, TensorZero (2026-04-16) · 오픈소스: tensorzero/tensorzero

핵심 주장

같은 입력이 모델에 따라 2.65배 이상 더 많은 토큰을 생성한다.

가격 리스트는 “입력 $2.50 / 출력 $10” 같은 백만 토큰당 달러 단위로 나열되지만, 같은 프롬프트를 서로 다른 토크나이저에 통과시키면 토큰 수가 모델마다 달라집니다. 즉 달러 단가가 비슷해도 같은 일을 시키는 실제 지출은 전혀 비슷하지 않다.

토크나이저 효율 — 콘텐츠 유형별 배수

gpt-5.4를 1.00x 기준선으로, 동일 입력에 대한 토큰 수 비율:

핵심 관찰:

• 콘텐츠 유형이 비용을 바꾼다 — 텍스트·JSON·YAML·도구 정의는 모두 다르게 토큰화됨
• 도구 정의에서 격차가 가장 크다 — 에이전트 워크로드의 핵심
• Anthropic 모델일수록 토크나이저 비효율이 심각

리스트 가격 vs 실효 비용

YAML 처리를 기준으로:

도구 중심 워크로드 (입력 $2.50 기준):

리스트 가격은 2배 차이지만, 도구 중심 워크로드에서는 5.3배로 벌어진다.

Gemini도 순위가 바뀝니다 — 텍스트에서는 가장 저렴하지만, 도구 정의에서는 OpenAI보다 46% 비싸짐.

숨은 비용 카테고리 5가지

1. 토크나이저 비효율 — 동일 입력에 대해 벤더마다 토큰 수가 다름 (이 글의 주제)
2. 프롬프트 캐싱 할인 — 캐시 히트/미스별 가격 구조가 벤더마다 다름
3. 긴 컨텍스트 가격 계층 — 윈도우 크기에 따라 단가가 점프하는 구조
4. 출력 토큰 — 같은 “완성된 답"을 만드는 데 필요한 출력 토큰 수도 모델마다 다름
5. Thinking(reasoning) 토큰 — 추론 모델이 내부적으로 태우는 토큰의 요금 처리

테스트 방법론

벤치마킹에 사용된 입력:

• 고전 문학 — 일리아드 (순수 텍스트)
• API 스펙 — Cloudflare OpenAI Spec (구조화된 JSON/YAML)
• 합성 도구 정의 100개 — 에이전트 환경 시뮬레이션

이 조합은 실제 프로덕션 워크로드(자연어 + 구조화 데이터 + 도구)를 균형 있게 커버합니다.

왜 이것이 중요한가 — 에이전트 시대의 함의

에이전트 시스템은 도구 정의 + 구조화된 컨텍스트 + 체인 오브 쏘트로 구성됩니다. 즉 토크나이저 비효율이 가장 크게 드러나는 조합입니다.

• 대화형 챗봇: 주로 자연어 → 격차 작음
• 에이전트 하네스: 대량의 도구 정의 + JSON 스키마 → 격차 폭증
• RAG 파이프라인: 구조화된 청크 → 중간 격차

리스트 가격만 보고 “Opus가 약간 비싸니 감수하자"고 결정하면, 도구가 많은 워크로드에서는 예산이 5배로 튄다.

권고 — “측정하라”

저자의 결론은 단순합니다.

“당신이 실제로 얼마를 내는지 알 수 있는 유일한 방법은 측정하는 것이다.”

리스트 가격 비교 대신:

1. 자신의 실제 워크로드로 토큰 수를 측정 (텍스트 / JSON / 도구 비율 파악)
2. 성능 × 실효 비용 조합으로 모델 평가 — 단가만 보지 말 것
3. 프로덕션과 비슷한 조건에서 A/B 실행
4. 게이트웨이 레이어로 프로바이더별 실시간 비용 추적 구축

원칙은 도구 종류와 무관하지만, TensorZero 스스로도 이 측정 문제를 풀기 위해 오픈소스 스택을 공개합니다.

TensorZero — 측정·최적화를 내장한 오픈소스 LLMOps 스택

저자가 속한 tensorzero/tensorzero는 이 블로그의 권고를 실제 인프라로 내려놓은 오픈소스 플랫폼입니다. Apache-2.0, 100% self-host. GitHub 스타 11.2k, 포춘 10대 기업부터 프론티어 AI 스타트업까지 사용하며 전 세계 LLM API 지출의 약 1% 가 이 게이트웨이를 통과합니다.

통합 구성 — 5개 축이 하나의 스택으로

비용 맥락에서 왜 의미 있는가

이 글의 핵심 주장 — “측정하지 않으면 실제 비용을 모른다” — 을 인프라로 강제하는 설계입니다.

• 프로바이더별 실효 비용 추적 — 토크나이저가 다른 18+ 프로바이더의 실제 토큰·비용이 한 뷰에 집계됨
• 태그·스코프별 rate limit — 팀·기능·고객 단위로 지출을 세분화
• 캐싱·배칭 내장 — 실효 비용을 측정과 동시에 줄임
• 프로덕션 메트릭으로 옵티마이저 피드 루프 — 관측된 비용·품질이 fine-tuning과 라우팅 결정에 다시 입력됨

지원 프로바이더 (18+)

Anthropic, OpenAI, Google (AI Studio & Vertex), AWS Bedrock/SageMaker, Azure, DeepSeek, Fireworks, Groq, Hyperbolic, Mistral, OpenRouter, SGLang, TGI, Together AI, vLLM, xAI(Grok), OpenAI-compatible (Ollama 등).

기술 스택

• Rust 79% — 게이트웨이 핫패스. 1ms 미만 p99의 핵심
• TypeScript 15% — UI·CLI 툴링
• Python 4% — 최적화·평가 워크플로

Quick Start (5분)

# 1. Docker로 게이트웨이 단일 컨테이너 배포
docker run -p 3000:3000 tensorzero/gateway

# 2. 기존 OpenAI 호환 클라이언트의 base_url만 교체
client = OpenAI(base_url="http://localhost:3000")

# 3. 모델 식별자로 프로바이더 지정
model="tensorzero::model_name::anthropic::claude-sonnet-4-6"

기존 OpenAI SDK 코드를 한 줄 바꾸는 것으로 전 프로바이더를 통합하고, 관측·평가·최적화가 자동으로 켜지는 구조입니다.

포지셔닝

• 산업용 스택 — Fortune 10 배포 사례(대형 은행 code changelog 자동화 등)
• GitOps 호환 / self-host — 벤더 락인 없음, 플랫폼 수수료 없음
• 펀딩: $7.3M 시드 (ClickHouse·CockroachDB·OpenAI·Anthropic 백커)
• OpenTelemetry 네이티브 — 엔터프라이즈 관측 툴과 그대로 연결

유료 별도 제품

TensorZero Autopilot — 자동화된 최적화 서비스. 오픈소스 코어와 분리된 상업 옵션.

실행 체크리스트

• 대표 프롬프트 10개를 선정해 각 모델 토크나이저로 토큰 수 측정
• 도구 정의가 차지하는 토큰 비중 파악 (보통 과소 추정됨)
• 리스트 가격 × 자신의 토크나이저 비율 = 실효 단가 산출
• 캐시 히트율과 할인 구조를 실효 단가에 반영
• Thinking 토큰이 포함된 모델은 평균 추론 토큰 수도 반영

핵심 결론

• 백만 토큰당 가격은 사과 대 사과 비교가 아니다
• 동일 입력이 모델에 따라 최대 2.65배 더 많은 토큰을 생성
• 도구 중심 워크로드에서는 리스트 가격 2배 → 실효 비용 5.3배로 벌어짐
• 콘텐츠 유형(텍스트/JSON/YAML/도구)별로 순위가 달라짐
• 유일한 해법은 자신의 워크로드로 직접 측정하는 것

가격을 비교하지 말고, 비용을 측정하라.