서버리스는 서버가 없다는 뜻이 아닙니다. 서버가 보이지 않고, 요청을 멈추면 비용도 멈춘다는 뜻입니다.
작동 방식
AWS의 SageMaker 가이드가 명확한 기준을 보여 줍니다. 서버리스 엔드포인트는 “automatically launch compute resources and scale them in and out depending on traffic”(번역: 트래픽에 따라 컴퓨팅 리소스를 자동으로 시작하고 확장·축소합니다)하며, 요청이 없으면 서비스가 “scales your endpoint down to 0”(번역: 엔드포인트를 0까지 축소합니다)합니다. 인스턴스가 아니라 사용량에 따라 비용을 냅니다.
0까지 축소하는 대가는 콜드 스타트입니다. 엔드포인트가 유휴 상태였는데 요청이 들어오면 “it can take some time for your endpoint to spin up the compute resources”(번역: 엔드포인트가 컴퓨팅 리소스를 가동하는 데 시간이 걸릴 수 있습니다). 대규모 언어 모델은 수십 기가바이트의 가중치를 불러와야 하므로 이 지연이 더 커집니다. 흔한 해결책은 비용을 내고 일부 용량을 미리 켜 두는 것입니다. AWS는 이를 프로비저닝된 동시성이라고 부르며, 메모리, 시간, 동시성 기준으로 청구합니다.
기능은 플랫폼마다 다릅니다. AWS가 밝힌 SageMaker Serverless Inference의 미지원 기능 목록에는 GPU가 들어 있으므로, LLM 규모의 서버리스 호스팅은 보통 다른 플랫폼에서 제공됩니다. Hugging Face는 Inference Providers를 토큰 하나로 여러 제공업체의 “serverless inference of models”(번역: 모델의 서버리스 추론)를 쓰는 방법이라고 설명합니다.
왜 중요한가
| 서버리스 엔드포인트 | 임대 GPU(GPU 시간) | 공유 토큰당 과금 API | |
|---|---|---|---|
| 유휴 시 비용 | 없음(미리 켜 두지 않는 한) | 있음 | 없음 |
| 콜드 스타트 | 있을 수 있음 | 없음(가동 후) | 목록에 있는 모델은 드묾 |
| 자체 모델 | 가능 | 가능 | 제공업체 목록에 있는 모델만 |
| 확장 작업 | 플랫폼 | 사용자 | 제공업체 |
서버리스는 트래픽이 들쭉날쭉하거나 적고 자체 모델을 쓸 때 잘 맞습니다. 꾸준하고 많은 부하는 대개 예약 하드웨어가 더 저렴합니다. 콜드 스타트는 평균이 아니라 긴 지연 시간 꼬리로 나타나므로 p95를 확인하세요.
BroadNet Inference에서는
BroadNet은 자사 API를 서버리스라고 설명하지 않으며, 문서에도 콜드 스타트에 대한 언급이 없습니다. 실제로는 종량제 키가 호출하는 쪽에서 중요한 서버리스 특성을 갖고 있습니다. 고를 인스턴스도, 확장할 것도 없고, 토큰당 또는 오디오 분당 과금입니다. 한도는 머신이 아니라 키 단위로, 분당 요청 30회, 동시 요청 4개입니다. 호출할 수 있는 모델은 Qwen3.8 27B처럼 BroadNet이 목록에 올린 모델뿐이며, 전용 엔드포인트와 다른 모델은 문의 시 제공됩니다. curl로 첫 요청 보내기는 1분이면 해 볼 수 있습니다.