Serverless không có nghĩa là không có server. Nó có nghĩa là bạn không bao giờ thấy server, và bạn ngừng trả tiền khi ngừng gửi request.
Cách hoạt động
Hướng dẫn SageMaker của AWS là một phiên bản tham chiếu rõ ràng. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (Bản dịch: tự động khởi chạy tài nguyên tính toán và co giãn chúng theo lưu lượng), và khi không có request, dịch vụ “scales your endpoint down to 0” (Bản dịch: thu nhỏ endpoint của bạn về 0). Bạn trả tiền theo mức dùng thay vì theo instance.
Cái giá của việc co về 0 là cold start. Nếu endpoint đã rảnh một lúc và có request đến, “it can take some time for your endpoint to spin up the compute resources” (Bản dịch: endpoint có thể mất một khoảng thời gian để khởi động tài nguyên tính toán). Với mô hình ngôn ngữ lớn, việc nạp hàng chục gigabyte trọng số làm độ trễ này lớn hơn. Cách khắc phục thường dùng là trả tiền để giữ sẵn một phần capacity; AWS gọi đó là provisioned concurrency và tính phí theo bộ nhớ, thời lượng và mức đồng thời.
Tính năng khác nhau tùy nền tảng. Danh sách những thứ không được hỗ trợ trong SageMaker Serverless Inference do chính AWS đưa ra có cả GPU, nên hosting serverless cỡ LLM thường đến từ nền tảng khác. Hugging Face mô tả Inference Providers là cách dùng “serverless inference of models” (Bản dịch: suy luận serverless cho các model) qua nhiều nhà cung cấp chỉ với một token.
Vì sao quan trọng
| Endpoint serverless | GPU thuê (GPU-hour) | API dùng chung tính theo token | |
|---|---|---|---|
| Trả tiền khi rảnh | Không (trừ khi giữ sẵn) | Có | Không |
| Cold start | Có thể có | Không, khi đã chạy | Hiếm với model có trong danh sách |
| Model của riêng bạn | Có | Có | Chỉ model nhà cung cấp liệt kê |
| Việc co giãn | Nền tảng | Bạn | Nhà cung cấp |
Serverless hợp với lưu lượng thất thường hoặc thấp khi bạn dùng model riêng. Tải đều và nặng thường rẻ hơn trên phần cứng đặt trước. Cold start lộ ra ở phần đuôi dài của độ trễ, không ở giá trị trung bình, nên hãy kiểm tra p95.
Trên BroadNet Inference
BroadNet không mô tả API của mình là serverless, và tài liệu không nói gì về cold start. Trên thực tế, các key trả theo mức dùng có những đặc điểm serverless quan trọng với người gọi: không phải chọn instance, không phải co giãn gì, và tính phí theo token hoặc theo phút audio. Giới hạn tính theo key, không theo máy: 30 request mỗi phút và 4 request đang chạy. Bạn chỉ gọi được các model BroadNet liệt kê, như Qwen3.8 27B; private endpoint và model khác chỉ có theo yêu cầu. Thử request đầu tiên bằng curl chỉ mất một phút.