작업실 · 추론의 경제성
먼저 모델과 제공할 서비스를 정하세요. GPU는 유연성이 높고, Mac Studio는 로컬 추론의 접근성을 높이며, 한국 NPU는 실제 작업으로 시험할 가치가 있습니다. 판단 기준은 필요한 응답 속도에서 얻는 비용당 유효 토큰입니다.
확인일 · 8B · 70B · 120B+ / MoE · USD 가격
가중치만 계산한 산술적 하한입니다. 매개변수 수 × 비트 ÷ 8을 십진 GB로 표시합니다. 양자화 메타데이터·KV 캐시·런타임 버퍼·OS 여유 공간이 추가됩니다. 문맥과 동시 요청이 늘면 메모리도 더 필요합니다. MoE 모델도 토큰당 활성 매개변수가 적더라도 전체 전문가 가중치를 저장해야 합니다.
| 모델 크기 | BF16 / FP16 | 8-bit | 4-bit |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 70B | 140 GB | 70 GB | 35 GB |
| 120B | 240 GB | 120 GB | 60 GB |
| 671B | 1,342 GB | 671 GB | 335.5 GB |
단일 가속기나 로컬 Mac부터 시작하세요. 아래 GPU 8개 결과는 전체 서비스 처리량이며 최소 구매 단위가 아닙니다.
양자화는 메모리 요구량을 크게 바꿉니다. 양자화 후 품질을 비교하세요. 4비트 가중치가 35 GB라고 해서 35 GB 장비로 서빙할 수 있는 것은 아닙니다.
분할·연결망·지원 연산을 확인하세요. 카드 메모리 합계가 자동으로 하나의 공유 풀을 이루지는 않습니다. 가중치가 들어가도 실용적 처리량은 별도 검증이 필요합니다.
구매 가격은 확인한 미국 판매가이며 한국 도입 비용이나 시장 평균이 아닙니다. 세금·배송·환율·스위치·랙·시설 공사는 현지 견적이 필요합니다. 아래 전력은 사양이며 공통 실측 벤치마크가 아닙니다.
GPU 8개 랙 서버. 아래 B200 판매 가격과 DGX 사양은 서로 다른 시스템입니다.
직접 수랭식 GPU 8개 서버. ROCm·vLLM 기반 서빙. 후속 MI400·Helios가 출시됐습니다. 여기서는 실측 MI355X 구성을 비교하며 MI400 성능을 추정하지 않습니다.
로컬 추론용 데스크톱. MLX는 CPU·GPU 공유 메모리를 사용합니다. Neural Engine TOPS는 LLM 서빙 벤치마크가 아닙니다.
ATOM-Max: 4U, 최대 카드 8개. 후속 RebelServer: 5U, Rebel100 기반 RebelCard 8개.
공랭식 4U, RNGD 가속기 8개, Furiosa SDK.
MLPerf Inference v6.1의 Closed·Available·Server 결과를 선정했습니다. 모두 노드 1대·가속기 8개입니다. 모델별 품질·지연 기준을 만족한 전체 출력 토큰/초이며 한 사용자의 생성 속도가 아닙니다. 같은 모델 안에서만 비교하세요. 소프트웨어와 정밀도도 다릅니다.
| 제출 시스템 | 출력 토큰/초 | 가중치 | 출처 |
|---|---|---|---|
| Cisco · NVIDIA B300-SXM-270GBCisco UCS C880A M8 (8x NVIDIA B300-SXM-270GB, TensorRT) | 제출 없음 | — | 6.1-0014 ↗ |
| CoreWeave · NVIDIA B200-SXM-180GBCoreWeave B200 SXM (8x B200-SXM-180GB) | 102,398 | FP4 | 6.1-0021 ↗설정 |
| Supermicro · AMD Instinct MI355X 288GB HBM3eAS-4126GS-NMR-LCC | 103,032 | FP4 | 6.1-0099 ↗설정 |
| Supermicro · NVIDIA B300-SXM-270GBAS-8126GS-NB3RT | 106,872 | FP4 | 6.1-0100 ↗설정 |
Supermicro 두 결과는 제출사와 가속기 수를 맞췄습니다. Cisco는 B300의 8B 결과, CoreWeave는 B200 참고 결과입니다. 미제출 값은 추정하지 않았습니다. 이 시스템들은 위 소매 견적 구성과 다르며, TDP로 제조사 간 토큰당 전력 우열을 계산하지 않습니다.
여기서 M5 시스템의 비교 가능한 8B·70B·대형 모델 처리량은 확인하지 못했습니다. Apple의 상대적 AI 연산 성능을 토큰/초로 환산할 수 없습니다. MLX 등 사용할 런타임에서 프리필과 생성 속도를 따로 기록하세요.
ATOM-Max 브리프는 Llama 3 70B를 이름이 없는 GPU와 상대 처리량으로 비교해, 비교 가능한 절대 결과를 제시하지 않습니다. SKT의 하루 1,400만 요청은 전체 운영 규모이며 서버 한 대의 용량이 아닙니다. RebelServer 500B 시연에도 절대 서빙 결과가 없습니다.
Qwen3-32B FP8, 입력·출력 각 1K: 사용자당 37 토큰/초에서 779 토큰/초/kW. SDK 2026.4와 vLLM 0.28.0의 RTX PRO 6000 비교입니다. 카드 4개 측정을 8개 서버 전력 기준(3·6.5 kW)으로 환산했으며 MLPerf 70B 결과나 카드 8개의 벽면 실측 효율이 아닙니다.
확인일 기준 DigitalOcean 공개 가격입니다. GPU 8개 비용은 단순 곱셈이며 별도 견적이 아닙니다. 스폿 인스턴스는 회수될 수 있으므로 공급 여부와 최소 구성을 확인하세요. 전원을 꺼도 인스턴스를 삭제하기 전까지 요금이 발생할 수 있습니다.
| 가속기 | 조건 | GPU 1개 / 시간 | GPU 8개 / 시간 | GPU 8개 × 730시간 |
|---|---|---|---|---|
| AMD MI300X | 온디맨드 | $2.59 | $20.72 | $15,125.60 |
| NVIDIA H200 | 온디맨드 | $4.47 | $35.76 | $26,104.80 |
| AMD MI355X | 중단 가능한 스폿 | $5.50 | $44.00 | $32,120.00 |
| NVIDIA B300 | 중단 가능한 스폿 | $6.17 | $49.36 | $36,032.80 |
초기 숫자는 가상 예시이며 제조사 견적이나 GPU·NPU 실측 결과가 아닙니다. 두 시스템 모두 실제 견적과 동일 모델·품질·입출력 길이·지연 기준의 유효 처리량을 입력하세요. 입력값은 현재 브라우저 세션 안에서만 사용합니다.
B는 가동률 63.5%에서 A의 현재 토큰당 비용에 도달합니다. 단위 비용 비교이며 동일 용량이나 수요를 보장하지 않습니다.
월 비용 = (구매 + 설치) ÷ (기간 × 12) + 730 × PUE × 전기 요금 × [부하 kW × 가동 비율 + 유휴 kW × (1 − 가동 비율)] + 월 운영비. 월 출력 = 유효 처리량 × 730 × 3,600 × 가동 비율. 가동 비율은 가동률 ÷ 100입니다. 두 시스템 모두 한 달 내내 켜져 있으며, 잔존가치 0의 정액 상각을 가정합니다.
프리필·대기열·재시도·품질 실패를 반영한 유효 출력만 입력하세요. 이중화·네트워크·라이선스·인력 비용은 견적이나 운영비에 더하세요. 세금·금융 비용·환율·재판매는 제외합니다. 코로케이션 요금에 냉각비가 포함되어 있으면 중복 계산하지 마세요. 수요가 적다면 유휴 장비를 소유하기보다 필요한 시간만 임대하는 편이 저렴할 수 있습니다.
반복 가능한 추론에서 경제성이 입증된다면 그렇습니다. 작업이 소프트웨어 지원 속도보다 빠르게 바뀌거나 장비가 쉬는 시간이 길면 도입 이유가 약해집니다. 칩의 낮은 정격 전력은 판단 요소 중 하나입니다.
편집 판단: SKT·Upstage 사례는 한국 NPU의 상용 역할을 보여주지만 모든 GPU를 대체한다는 뜻은 아닙니다. 모델 API 가격 하락과 GPU 소프트웨어 개선도 손익분기점을 움직입니다. AI 앱은 매출 증가와 함께 추론비도 늘어납니다. 토큰 양만이 아니라 유지 고객당 공헌이익을 평가하세요.
모델 리비전·양자화·품질 시험, 입출력 길이 분포, 동시성, p95·p99 첫 토큰 지연과 토큰 간 지연, 유효 출력 토큰/초, 서버 전체 벽면 실측 전력, 런타임 버전, 시험 시간, 실패·재시도율을 고정하세요. 긴 문맥·소형 모델·실제로 필요한 최대 모델을 포함하고, 재현 가능한 로그와 항목별 3년 견적을 요청하세요.
작업실에서 오픈웨이트 모델 살펴보기 →