---
title: "서버리스 추론이란? 사용한 만큼 내는 모델 호스팅 | BroadRouter"
description: "서버리스 추론은 트래픽에 따라 0까지 확장·축소되는 엔드포인트 뒤에서 모델을 실행하고 사용량만 청구합니다. 콜드 스타트, 가격, 다른 방식과의 비교를 정리했습니다."
url: https://broadrouter.com/ko/glossary/serverless-inference/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/serverless-inference/) (2026-11-16 업데이트).

# 서버리스 추론(serverless inference)

업데이트 2026-11-16

서버리스 추론은 플랫폼이 엔드포인트 뒤의 컴퓨팅을 자동으로 시작하고 확장하고 중지하는 머신러닝 모델 실행 방식입니다. 유휴 시에는 0까지 줄이는 경우가 많고, 예약한 머신이 아니라 사용량으로 청구합니다. 그 대가로 콜드 스타트 지연이 생길 수 있습니다.

다른 이름: 서버리스 LLM, 서버리스 모델 엔드포인트, 서버리스 GPU 추론, 서버리스 AI, 스케일 투 제로, serverless inference, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

서버리스는 서버가 없다는 뜻이 아닙니다. 서버가 보이지 않고, 요청을 멈추면 비용도 멈춘다는 뜻입니다.

## 작동 방식

AWS의 SageMaker 가이드가 명확한 기준을 보여 줍니다. 서버리스 엔드포인트는 “automatically launch compute resources and scale them in and out depending on traffic”(번역: 트래픽에 따라 컴퓨팅 리소스를 자동으로 시작하고 확장·축소합니다)하며, 요청이 없으면 서비스가 “scales your endpoint down to 0”(번역: 엔드포인트를 0까지 축소합니다)합니다. 인스턴스가 아니라 사용량에 따라 비용을 냅니다.

0까지 축소하는 대가는 **콜드 스타트**입니다. 엔드포인트가 유휴 상태였는데 요청이 들어오면 “it can take some time for your endpoint to spin up the compute resources”(번역: 엔드포인트가 컴퓨팅 리소스를 가동하는 데 시간이 걸릴 수 있습니다). 대규모 언어 모델은 수십 기가바이트의 가중치를 불러와야 하므로 이 지연이 더 커집니다. 흔한 해결책은 비용을 내고 일부 용량을 미리 켜 두는 것입니다. AWS는 이를 프로비저닝된 동시성이라고 부르며, 메모리, 시간, 동시성 기준으로 청구합니다.

기능은 플랫폼마다 다릅니다. AWS가 밝힌 SageMaker Serverless Inference의 미지원 기능 목록에는 GPU가 들어 있으므로, LLM 규모의 서버리스 호스팅은 보통 다른 플랫폼에서 제공됩니다. Hugging Face는 Inference Providers를 토큰 하나로 여러 제공업체의 “serverless inference of models”(번역: 모델의 서버리스 추론)를 쓰는 방법이라고 설명합니다.

## 왜 중요한가

|  | 서버리스 엔드포인트 | 임대 GPU([GPU 시간](https://broadrouter.com/ko/glossary/gpu-hour/)) | 공유 토큰당 과금 API |
| --- | --- | --- | --- |
| 유휴 시 비용 | 없음(미리 켜 두지 않는 한) | 있음 | 없음 |
| 콜드 스타트 | 있을 수 있음 | 없음(가동 후) | 목록에 있는 모델은 드묾 |
| 자체 모델 | 가능 | 가능 | 제공업체 목록에 있는 모델만 |
| 확장 작업 | 플랫폼 | 사용자 | 제공업체 |

서버리스는 트래픽이 들쭉날쭉하거나 적고 자체 모델을 쓸 때 잘 맞습니다. 꾸준하고 많은 부하는 대개 예약 하드웨어가 더 저렴합니다. 콜드 스타트는 평균이 아니라 긴 [지연 시간](https://broadrouter.com/ko/glossary/latency/) 꼬리로 나타나므로 p95를 확인하세요.

## BroadNet Inference에서는

BroadNet은 자사 API를 서버리스라고 설명하지 않으며, 문서에도 콜드 스타트에 대한 언급이 없습니다. 실제로는 [종량제](https://broadrouter.com/ko/glossary/pay-as-you-go/) 키가 호출하는 쪽에서 중요한 서버리스 특성을 갖고 있습니다. 고를 인스턴스도, 확장할 것도 없고, 토큰당 또는 오디오 분당 과금입니다. 한도는 머신이 아니라 키 단위로, 분당 요청 30회, 동시 요청 4개입니다. 호출할 수 있는 모델은 [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)처럼 BroadNet이 목록에 올린 모델뿐이며, 전용 엔드포인트와 다른 모델은 문의 시 제공됩니다. [curl로 첫 요청 보내기](https://broadrouter.com/ko/guides/curl-quickstart/)는 1분이면 해 볼 수 있습니다.

## 자주 묻는 질문

### 서버리스 추론에서 콜드 스타트란 무엇인가요?

축소되어 있던 엔드포인트가 요청을 받았을 때, 먼저 컴퓨팅을 시작하고 모델을 불러오느라 생기는 지연입니다. AWS SageMaker 문서는 이를 설명하고, 비용을 내고 용량을 미리 켜 두는 프로비저닝된 동시성(provisioned concurrency)을 제공합니다.

### 토큰당 과금 LLM API도 서버리스인가요?

호출하는 쪽에서 보면 대체로 그렇습니다. 요청을 보내고 토큰당 비용을 내며 서버를 관리하지 않습니다. 차이는 공유 API가 인기 모델을 여러 고객을 위해 계속 올려 두기 때문에, 보통 내 모델이 시작될 때까지 기다리지 않는다는 점입니다.

### 서버리스 추론이 전용 GPU보다 저렴한가요?

트래픽이 들쭉날쭉하거나 적으면 대체로 그렇습니다. 유휴 시간에는 비용이 나가지 않기 때문입니다. 꾸준하고 많은 부하라면 예약 GPU가 요청당 더 저렴한 경우가 많습니다. 내 트래픽 패턴을 두 가격과 비교해 보세요.

## 함께 보기

-   [추론 제공업체(Inference provider)](https://broadrouter.com/ko/glossary/inference-provider/) (용어)
-   [GPU 시간(GPU-hour)](https://broadrouter.com/ko/glossary/gpu-hour/) (용어)
-   [종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/) (용어)
-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/) (용어)
-   [curl로 BroadNet Inference에 첫 요청 보내기](https://broadrouter.com/ko/guides/curl-quickstart/) (가이드)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)
-   [LLM API 가격 구조: 입력, 캐시, 출력, 추론 토큰 요금 정리](https://broadrouter.com/ko/blog/llm-api-pricing-explained/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-serverless-inference&utm_content=page-cta) ·

**출처**

-   [AWS, Amazon SageMaker Serverless Inference 개발자 가이드 (2026-11-16 확인)](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face, Inference Providers 문서(서버리스 추론) (2026-11-16 확인)](https://huggingface.co/docs/inference-providers/index)
-   [BroadNet Inference API 레퍼런스, 한도 (2026-11-16 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-serverless-inference&utm_content=sources#limits)
