출처: https://www.categoryvc.com/writing/where-the-ai-hardware-market-is

이 글은 2026년 현재 AI 인퍼런스 시장을 “누가 더 많은 FLOPS를 내느냐"가 아니라 “누가 메모리 병목을 더 잘 푸느냐"의 관점으로 재정리합니다. 특히 LLM serving의 실제 병목이 prefill과 decode에서 다르게 나타난다는 점을 기준으로, 어떤 레이어에서 기업들이 경쟁하는지 살펴봅니다.

1) 왜 지금도 GPU는 놀고 있는가

많은 팀이 “GPU가 비싸다"는 문제를 이야기하지만, 더 정확히는 “GPU 안의 연산 장치가 놀고 있다"는 문제가 큽니다. 이유는 단순합니다.

  • prefill(프롬프트 초기 처리): 연산량이 크고 병렬화가 쉬워 compute-bound 경향
  • decode(토큰 1개씩 생성): 매 스텝마다 메모리 접근이 잦아 memory-bound 경향

즉, 동일한 모델·동일한 GPU라도 어떤 구간을 주로 처리하느냐에 따라 자원 활용률이 완전히 달라집니다. 이 관점이 없으면 “왜 스펙상 성능과 실제 처리량이 이렇게 다른가"를 설명하기 어렵습니다.

2) 시장 공략 지도: 메모리 병목을 어디서 푸는가

(1) 칩 레벨: on-chip memory 중심 재설계

대표적으로 다음 접근이 같은 문제를 다른 방식으로 건드립니다.

  • Groq: HBM 의존도를 낮추고 대용량 on-chip SRAM 활용
  • Cerebras: 웨이퍼 스케일 아키텍처 + 대규모 SRAM으로 데이터 이동 최소화
  • MatX / d-Matrix: scratchpad/in-memory computing 계열로 메모리-연산 간 거리 축소

핵심은 “더 빠른 연산기"보다 “연산기가 기다리지 않게 만드는 메모리 구조"입니다.

(2) 인퍼런스 엔진: 스케줄링이 곧 제품력

엔진 레이어에서는 prefill과 decode를 분리해서 다루는 능력이 중요합니다.

  • prefill 최적화: 배치 병렬성과 연산 효율 중심
  • decode 최적화: 대역폭·캐시 친화성·지연시간 중심

Roofline 관점으로 워크로드를 보면, “배치를 키우면 무조건 효율이 오른다"는 단순 규칙이 깨집니다. 어떤 구간에서는 배치를 키울수록 대역폭 병목이 심해져 오히려 품질/지연시간/비용이 악화됩니다.

(3) KV cache: 긴 컨텍스트 시대의 숨은 비용 센터

LLM이 길게 대화할수록 KV cache가 메모리를 잠식합니다. 이때 중요한 건 “삭제"가 아니라 “재배치"입니다.

  • hot KV: GPU 메모리에 유지
  • warm KV: CPU RAM으로 이동
  • cold KV: NVMe/S3 같은 저비용 계층으로 이동

이런 계층형 전략은 특히 반복 질의, 세션 재개, 에이전트 워크로드에서 총비용을 크게 바꿉니다.

(4) 패키징·인터커넥트: 반도체를 넘어 기계공학 경쟁

칩 성능이 올라갈수록 CoWoS, HBM attach, 냉각, 고밀도 연결 기술이 전체 성능 상한을 결정합니다. 결국 회로 설계만 잘해서는 안 되고, 열·재료·패키징 공급망까지 포함한 시스템 역량이 필요합니다.

3) 투자/제품 관점에서 보는 현실적인 승리 전략

현실적으로 스타트업이 NVIDIA를 정면으로 대체하기는 어렵습니다. 대신 다음 전략이 더 실무적입니다.

  1. 특정 병목을 명확히 정의한다 (예: decode latency, KV cache cost).
  2. 그 병목에서 10~30% 이상의 체감 개선을 만든다.
  3. 엔진/클라우드/플랫폼에 통합 가능한 형태로 제품화한다.

이 패턴의 장점은 기술이 빠르게 변해도 “병목 해결 능력” 자체가 재사용된다는 점입니다.

4) 앞으로의 변수: 알고리즘 속도가 하드웨어 로드맵을 바꾼다

주의할 점은 하드웨어만 최적화해도 영구 우위가 생기지 않는다는 것입니다.

  • 저정밀도 확산
  • speculative decoding 개선
  • KV compression 고도화

이 변화들은 같은 하드웨어에서도 병목 위치를 계속 이동시킵니다. 따라서 하드웨어 회사도 “한 번 만든 칩"이 아니라 “지속적으로 적응하는 시스템"을 팔아야 합니다.

결론 및 시사점

한 줄 결론: AI 하드웨어 시장의 진짜 경쟁축은 컴퓨트 총량이 아니라 메모리 이동 비용이며, 가장 유망한 플레이는 NVIDIA 대체가 아니라 병목 지점별 초정밀 최적화입니다.

정리하면, AI 인퍼런스 스택은 칩·엔진·캐시·패키징의 모든 층에서 “메모리를 어떻게 다루는가"로 재편되고 있습니다. 앞으로 의미 있는 기업은 거대한 비전을 말하는 곳보다, 특정 구간의 병목을 수치로 증명하고 운영환경에서 반복 재현하는 팀일 가능성이 높습니다.