GPU 시간은 하드웨어를 빌릴 때 돈을 내는 단위입니다. 토큰당 API에서는 보이지 않지만, 자체 호스팅 모델에서는 청구서 전체가 됩니다.
작동 방식
클라우드 제공업체는 GPU 인스턴스 가격을 시간당으로 매기고, 실제 계량은 더 잘게 합니다. AWS 온디맨드 페이지는 요금이 “per instance-hour consumed”(번역: 사용한 인스턴스 시간당)이며, Linux의 1시간 미만 사용분은 최소 60초 이후 초 단위로 청구한다고 말합니다. Google Cloud는 “all vCPUs, GPUs, and GB of memory”(번역: 모든 vCPU, GPU, 메모리 GB)에 최소 1분을 청구한 뒤 1초 단위로 청구합니다. GPU 8장짜리 인스턴스를 3시간 돌리면 24 GPU 시간입니다.
계량기는 인스턴스가 쓸모 있게 일할 때가 아니라 켜져 있는 동안 돌아갑니다. 새벽 3시에 놀고 있는 GPU도 바쁜 GPU와 같은 비용이 듭니다.
연구자들도 연산량에 같은 단위를 씁니다. 예를 들어 GPTQ 논문은 175B 파라미터 모델을 “in approximately four GPU hours”(번역: 약 4 GPU 시간 만에) 양자화합니다.
왜 중요한가
GPU 시간을 토큰당 요금과 비교하려면 처리량으로 환산합니다.
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
함정은 분모에 있습니다. 처리량은 모델, 정밀도, 배치 크기, 그리고 GPU를 얼마나 바쁘게 유지하느냐에 따라 달라집니다. 부하 20%로 돌아가는 임대 GPU는 같은 GPU를 최대 부하로 쓸 때보다 토큰당 비용이 5배입니다. 트래픽이 들쭉날쭉한 팀이 API를 쓰는 주된 이유입니다. 자체 호스팅 vs API 비용을 참고하세요.
BroadNet Inference에서는
BroadNet은 GPU를 시간 단위로 빌려주지 않습니다. 자사 모델에 대한 API 접근을 판매하며, 서비스 약관에 따르면 이 모델들은 미국에 있는 BroadNet 소유 또는 임차 하드웨어나 미국 추론 파트너를 통해 실행됩니다. 시간 단위로 가격이 매겨지는 옵션이 두 가지 있지만, 어느 쪽도 GPU 시간이 아닙니다.
| GPU 시간(클라우드 임대) | BroadNet 시간제 키 | Meteor 플랜 | |
|---|---|---|---|
| 받는 것 | GPU 한 장 전체와 그 서버 | 공유 모델의 스트림 하나 | 공유 모델의 세션 하나 |
| 모델 | 들어가는 것은 무엇이든 | BroadNet Gemma 4 VL 26B만 | DeepSeek V4.1 Flash만 |
| 한도(BroadNet 문서 기준) | 하드웨어 | 분당 요청 120개, 분당 토큰 300,000개, 스트림 1개 | 한 번에 요청 하나, 토큰 계량 없음 |
| 가격 | 클라우드가 정함 | 시간당 $0.50 | 세션당 시간당 $1 |
BroadNet의 두 옵션 모두 드라이버, 확장, 유휴 시간을 관리할 필요가 없지만, 하드웨어를 고르거나 다른 모델을 불러올 수도 없습니다. 시간제 키를 한 달 내내 쓰면 $0.50 × 24 × 30 = $360.00 금액이 됩니다. 자세한 내용은 시간제 LLM API 키 설명과 정액 플랜 항목을 참고하세요.